Byron Janis naît de parents juifs d’Europe de l'Est émigrés aux États-Unis. Son nom, Janis, est une déformation de Yanks, diminutif de Yankelevitch. Très vite, les dons du jeune Byron, se manifestent. Il commence des leçons avec Abraham Litow, puis il progresse si vite qu’il est présenté au couple Lhévinne (Josef et Rosina Lhévinne), dont il devient l’élève dès l’âge de huit ans. Mais les Lhévinne étant très occupés par leurs concerts, ils délèguent l’enseignement du jeune Byron à Adele Marcus qui lui donnera des leçons durant 6 ans. Janis fait ses débuts à l’âge de 9 ans à Pittsburgh. À 15 ans, il joue pour la première fois avec orchestre, dans le concerto no 2 de Rachmaninov[2], pièce qu’il reprend quelque temps après sous la direction du jeune Lorin Maazel. Vladimir Horowitz, dans le public, est enthousiasmé par la prestation de Janis, et le prend comme élève[2]. C’est d’ailleurs l’un des rares élèves que l’on connaît au grand pianiste. Pour pouvoir suivre des leçons régulières, il doit suivre le maître en tournées autour du monde, et donne lui-même plusieurs concerts, notamment au Brésil. Lorsque Janis atteint ses vingt ans, Horowitz décide de ne plus lui donner de leçon. Débute alors pour le jeune pianiste une carrière de virtuose itinérant, qui l’amène notamment à Londres, où il joue à nouveau le concerto no 2 de Rachmaninov.
En 1960, il est choisi pour représenter les États-Unis dans le cadre d’un échange culturel avec l’URSS. Il effectue donc une tournée en URSS[2], et y retourne deux ans plus tard, pour y jouer, dans une même soirée le concerto de Schumann, le no 1 de Rachmaninov, et le no 3 de Prokofiev. Le succès du concert incite les studios américains Mercury à envoyer du matériel sur place pour enregistrer les susdits concerti de Rachmaninov et de Prokofiev. La fin des années 1960 marque l’apogée de la carrière de Janis, qui effectue jusqu’à 100 concerts par an. Pourtant, on lui reproche de devenir une copie d’Horowitz, ce à quoi Janis répond avec honnêteté qu’à force d’entendre jouer son maître, il connaissait son phrasé par cœur, et avait, lorsqu’il était plus jeune, effectivement tendance à copier ses manières. En 1967, le pianiste est placé sous les projecteurs car il trouve par hasard deux manuscrits inconnus de valses de Chopin au Château de Thoiry en France alors qu'il est invité par le comte Antoine de La Panouse[3]. Cette histoire déclenche l’idée d’un téléfilm sur la vie de Chopin, qu’il tourne peu après 1970.
En 1973, Byron Janis commence à souffrir d’arthrose au niveau des mains[2]. Cependant, il continue à se produire sur scène, et à enseigner, activité qui l’occupe déjà depuis une dizaine d’années. Mais à partir de 1984, face à l’échec des remèdes contre l’arthrose, il consomme des drogues diverses pour apaiser la douleur. Douleur physique, mais aussi morale, qui conduit lentement le pianiste vers une dépression. C’est seulement en 1985 qu’il se décide à parler publiquement de sa maladie, lors d’un dîner organisé en son honneur à la Maison-Blanche. Dès lors, il devient ambassadeur de la Fondation contre l’Arthrite, et retrouve l’énergie et la force nécessaires pour continuer sa carrière, grâce aussi à des soins efficaces.
Byron Janis a surtout enregistré les grands concertos du répertoire (Rachmaninov, Prokofiev, Liszt, Tchaïkovski…), notamment pour la maison de disques Mercury, mais peu de pièces pour piano seul. Exception notable : les Tableaux d’une exposition de Moussorgski, qui ne sortent qu’en 1994 alors que le pianiste les avait enregistrés avant. En 1996, il enregistre un récital Chopin pour EMI, et en 1998, un récital Chopin/Liszt.
Son activité de compositeur est moins connue : il compose en 1989 la musique d’un documentaire sur Gary Cooper, dont il a épousé la fille. Il compose aussi beaucoup dans un style pop.
Janis est considéré, à plus de 80 ans, comme l’un des plus grands pianistes vivants. Un coffret lui est consacré dans la collection des Grands Pianistes du XXe siècle, chez Philips.