Han studerte til arkitekt som sin far ved NTH fra 1919 til 1921, før han avbrøt studiene og reiste til Musikkonservatoriet i Leipzig, der han studerte direksjon, komposisjon, piano og fagott. I 1929 deltok han i Felix Weingartners «Meisterkurs für Dirigenten» i Basel i Sveits.
Dirigent
Kielland debuterte som dirigent og pianist i Trondhjem i 1923. Han var repetitør ved Casino-theateret i København 1924, og kapellmester ved Stora Teatern i Göteborg. Her vakte han oppsikt med sin oppsetning av Carl Nielsens opera Saul og David som hadde ligget uoppført siden premièren i 1902 og som vakte komponistens uforbeholdne anerkjennelse for tempovalg og kunstnerisk oppfattelse. I 1931 ble han ansatt som kapellmester i Filharmonisk Selskap i Oslo, og var fra 1933 selskapets kunstneriske leder – den første norske sjefdirigent i orkestrets historie. Han delte 1931 til 1933 kapellmesterposten med Odd Grüner-Hegge. Økonomiske årsaker tvang Filharmonisk Selskaps styre til å treffe et valg, og Kielland ble foretrukket ut fra sin bredere erfaring. Avgjørelsen vakte betydelig oppsikt og avstedkom livlig debatt i musikkretser. I 1936 overtok Kielland den musikalske ledelsen av Guldbergs Akademiske Kor. Han gjorde en betydelig innsats for å framføre musikk av unge norske komponister.
Kielland var i en kort periode medlem av «Departementets midlertidige konsultative råd i kunstneriske spørsmål», noe som etter krigen førte til anklager om samarbeid med okkupasjonsmakten. Hans virke som sjefdirigent for Oslo Filharmoniske Orkester tok slutt. Kielland ble suspendert fra flere foreninger, blant annet Komponistforeningen. Selv om han allerede i 1945 ble frikjent av en komite bestående av ansette jurister oppnevnt av myndighetene, var Kiellands karriere belastet, og så sent som i 1962 måtte Kielland fortsatt forsvare seg mot nazi-anklager. Han gjorde det heller ikke lett for seg selv ved sin ofte i overkant temperamentsfulle opptreden overfor orkestermusikerne ved prøvene.
Gradvis fokuserte Kielland mer og mer på komponeringen, og mindre på dirigentgjerningen. Han ville derfor heller gjestedirigere rundt omkring og ta på seg mindre engasjementer.
Som komponist representerer Kielland den nasjonale linje i norsk musikk. Musikken hans er sterkt inspirert av norsk folkemusikk og spesielt av hardingfelaspolyfone karakter. I 1943 kjøpte han husmannsplassen «Raudmyr» i Bø i Telemark, der han senere bodde og studerte. Melodiene, rytmene og klangen i hardingfela har gitt uttrykk til mange av hans komposisjoner. Kiellands musikk har en uttrykt polyfon tendens med gjennomtrengende dissonante linjer.
Han har komponert åtte større symfoniske verker, blant annet fiolinkonsert (1942), musikk til Ibsens «Brand» og Concerto Grosso Norvegese (1952). Klaverkonsert (1978).[5] Han har også komponert en rekke sanger med orkester, korsanger, salmer, kammermusikk, klaverstykker m.m.
