Филармония открыла первый сезон 26 октября 1936 года, но собственного здания у неё почти двадцать лет не было — концерты проходили в театре драмы, Доме Красной Армии, городском саду и заводских клубах. Лишь в 1953 году филармония получила зал на 400 мест в центре города, образующий единый архитектурный ансамбль с драмтеатром. В 1980-х годах здание прошло масштабную реконструкцию, а в 1991 году в обновлённом Большом зале установили орган чешской фирмы Rieger-Kloss — с тех пор органные концерты стали визитной карточкой филармонии.
Акустика зала, специально спроектированная под симфонические и камерные программы, одинаково достойно передаёт и мощь органа, и тихий тембр струнного квартета. Филармония носит имя С. Я. Лемешева и носит звание «академическая» с 1999 года.
Остановка «Тверская площадь» — в 100 метрах от входа; от вокзала можно доехать автобусами № 7, 15, 30, 33, 52, 107 и маршрутным такси № 24. Для автомобилистов в Театральном проезде есть бесплатная парковка на 15 мест; парковка платная с 8:00 до 18:00 по будням, вечером и в выходные — бесплатно.