До сентября 1918 года жил в Симбирске, учился во второй мужской гимназии. В 1912 году в Симбирске были опубликованы его первые музыкальные произведения — пьеса «Грусть» и вальс «Вечерок».
Как джазовый руководитель дебютировал в 1934 году. Внимание музыкальной общественности привлекло сотрудничество Варламова с негритянской певицей из США Целестиной Коол. Позже собрал первую в СССР группу из музыкантов-импровизаторов («Семёрка»). Осенью 1938 года создал джаз-оркестр Всесоюзного радиокомитета, с которым работал до сентября 1939 года, успев принять участие в первой отечественной телепередаче.
В 1939—1940 годах руководил джаз-оркестром МВТУ имени Н. Баумана. С лета 1940-го до лета 1941 года — главный дирижёр Государственного джаз-оркестра СССР. В начале войны Госджаз СССР был преобразован в Образцово-показательный джаз-оркестр Наркомата обороны и почти в полном составе выехал на фронт, где большинство оркестрантов погибло. Оставшийся в Москве Варламов возглавил симфоджаз при Всесоюзной студии эстрадного искусства («Мелоди-оркестр», солистка — Дебора Пантофель-Нечецкая) и готовил программу к выступлениям перед американскими моряками в северных портах — Мурманске, Архангельске.
В январе 1943 года арестован по навету, решением Особого совещания был приговорён к восьми годам лишения свободы, срок отбывал в Ивдельлаге на Северном Урале, где до 1948 года руководил агитбригадой и джаз-оркестром. После освобождения в 1951 году жил в Казахстане. Работал преподавателем в Караганде. После реабилитации в 1956 году вернулся в Москву, писал музыку для эстрадных оркестров, кинофильмов и телевизионных постановок, осуществил ряд записей собственных композиций с симфоджазовым составом.
В последние годы жизни жил на ул. Лескова, д. 10 б, в Московском районе Бибирево.
Алексей Баташев, авторитетный современный историк джазового искусства, в 90-е годы писал:
Спросите любого нашего джазмена старшего поколения — а среди них немало знаменитых — почти каждый скажет: его увлечение джазом началось с Варламова[5]
Александр Варламов отмечал, что для него очень важен был «поворот от примитивной мелодики к настоящему свинговому стилю». Он одним из первых в Советском Союзе стал уделять повышенное внимание оркестровке и культуре исполнения. Открывал таланты, привлекал к работе наиболее ищущих музыкантов своего времени: Александра Васильева, Николая Шмелёва, Александра Ривчуна (саксофон), Виктора Быкова, Михаила Ветрова, Петра Борискина (труба), Михаила Петренко (фортепиано), Олега Хведкевича, Лаци Олаха (ударные); Семёна Чанышева (контрабас), Теодора Ходорковского, А. Арского (аранжировка и инструментовка).
Получили большую популярность такие композиции в исполнении оркестра Александра Варламова, как «Весёлый час», «Ранний час», «Сон», «Пой мне о любви, дорогая», «Жёлтая роза», «Свит Су» (в оригинале «Sweet Sue, Just You»), «Дикси-ли» («Dixie Lee»).
Александр Варламов автор таких инструментальных пьес и вокальных произведений, как «Романтическая рапсодия», «Ты поверь, ты пойми», «Край мой любимый», «Пой мне», «Уходит вечер». Александр Варламов также переводил зарубежные песни на русский язык и сам исполнял их. Его голос звучит в популярнейшей песенке «На карнавале» Харри Уоррена (англ.(Harry Warren) (в оригинале «She Is a Latin from Manhattan»), в балладе «Луна» Ричарда Роджерса (в оригинале «Blue Moon») и слоу-фоксе «Счастьем жизнь полна» Джина Шварца (англ. Jean Schwartz) (в оригинале «Trouble In Paradise»).
Александру Варламову принадлежит аранжировка итальянской баркаролы, которую исполняла Аделина Патти. В 1920-х годах квартет театра-кабаре «Летучая мышь» Никиты Балиева и оркестра театра «Водевиль»[англ.] записали на студии «Columbia Graphophone Company» пластинку с композицией «The Russian Barcarole».
Будучи одним из немногих тогда советских композиторов, аранжировщиков и дирижёров, осваивавших свинговую манеру игры и письма, в числе первых в стране стал исполнять музыку в стиле свинг, дав интересные образцы нового стиля. Среди них выделяются записи американских пьес «Игра на пальцах» Ричарда Роджерса, «Я всегда с вами» (в оригинале «Is It True What They Say About Dixie?») Джеральда Маркса (на варламовском треке ошибочно указан Хендерсон), «Счастливая дорога» (в оригинале «I’m Living in a Great Big Way») Джимми МакХью, джазовая версия «Лирической песенки» Юрия Милютина «Все стало вокруг голубым и зелёным» из к/ф «Сердца четырёх» с вокалом Веры Красовицкой.
В 1960—1970-е годы Варламов сочинил ряд композиций для биг-бэнда. В 1986 году он написал «Концерт для трубы с оркестром» и посвятил его городу Ульяновску.
Александр Варламов тщательно работал над совершенствованием исполнительской техники и ансамблевой игры, что привело к заметному росту профессионализма в отечественном джазе и оказало существенное влияние на развитие джазовой музыки в СССР.
