Figlio di un macellaio abitante in un villaggio di pescatori lettoni è stato introdotto presto ai canti della sinagoga e alle canzoni popolari ebraiche.
Nel 1906 è emigrato a Gerusalemme, dove si è dedicato all'insegnamento di musica e allo studio della musica orientale e nel 1910 ha fondato un istituto per la musica ebraica.
Con l'aiuto di una borsa di studio dell'Accademia di Vienna, Idelsohn ha registrato canzoni degli ebrei orientali a Gerusalemme dal 1906 al 1921 e le ha trascritte.
Queste trascrizioni occupano cinque volumi del suo capolavoro in dieci volumi, il Thesaurus of Hebrew Oriental Melodies. Il primo volume è stato dato alle stampe nel 1914 ed era dedicato alla tradizione ebraica yemenita; l'ultimo volume è stato pubblicato nel 1932.
Durante la prima guerra mondiale Idelsohn ha soggiornato a Gaza. Nel 1919 è tornato a Gerusalemme, prima di trasferirsi dal 1922 negli Stati Uniti d'America, dove ha lavorato come professore di musica ebraica alla Hebrew Union College di Cincinnati.
Dal 1930 ha sofferto di problemi di salute e dal 1934 non è stato più in grado di lavorare. Nel 1937 si è spostato con la sua famiglia a Johannesburg, dove è morto l'anno seguente.
Una delle sue attività principali fu quella di approfondimento della musica ebraica moderna e antica.
Il merito di Idelsohn risiede nella sua scoperta delle comunità ebraiche orientali con la loro cultura musicale tradizionale, così come l'espansione delle conoscenze di carattere generale sulla musica ebraica da quella Ashkenazi alla sefardita e alle tradizioni del Medio Oriente. Si è caratterizzato per una serie di oltre mille registrazioni effettuate sul campo e per l'importanza che ha attribuito alle tradizioni orali.
Oltre ai suoi studi liturgici-musicali, ha anche esplorato le lingue orientali e la poesia e le tecniche del maqam arabo. Ha fatto paragoni tra l'ebraico antico e la liturgia paleocristiana, sia tra il canto gregoriano, i canti bizantini e quelli giacobiti.
Idelsohn è generalmente riconosciuto come il "padre" della musicologia ebraica moderna. Durante la sua permanenza a Gerusalemme, ha osservato una grande diversità di tradizioni musicali tra gli ebrei che vivono nella regione. Idelsohn ha esaminato queste melodie tradizionali e ha trovato motivi ricorrenti aventi un'origine comune che risalivano alla Palestina del primo secolo dopo Cristo. Ha capito che questi motivi corrispondevano a tre distinti centri tonali: quello dorico, frigio e lidio degli antichi greci.[1] Ognuna di queste modalità ha suscitato una risposta psico-emotiva distinta. Il modo dorico era usato per testi di natura elevata e ispirata; il frigio per i testi sentimentali, ch vanno dalla gioia al dolore; e il lidio era usato per comporre musica per i testi di lamenti e confessioni di peccati.[1] Idelsohn ha stabilito che questi motivi sono quelli che prepararono una frase musicale, la iniziano e la concludono.[1]
È considerato l'autore di testi di canzoni folk ebraiche, quali la celeberrima Hava Nagila.
Ha scritto varie pubblicazioni, tra le quali: Jewish Music in the Historical Development (1929)[2], Der judische Tempelgesang, Thesaurus of Hebrew Oriental Melodies (1914).[3]