Каменный торговый двор на Соборной площади был предусмотрен генеральным планом строительства города 1780 года. Проект разработан касимовским архитектором И.С. Гагиным (1771-1844 гг.) и утвержден в 1826 году. В этом же году касимовские купцы дали подписку Городской Думе о числе лавок, которые они хотят построить за свой счет. Таким образом, всё строительство велось на средства купечества. Сначала приступили к строительству корпуса №1 (пл. Соборная, д. 13 б.) и №3 (пл. Соборная, д. 3 а), которые были построены к 1829 году, а возведение оставшихся зданий из-за отсутствия средств затянулось на неопределенное время. Место для строительства корпуса №2 было занято подвижными лавочкам и питейным домом, а на месте предполагаемого строительства корпуса №4 стояло ветхое каменное здание казначейства. Инициатором строительства корпуса №2 стал Потомственный Почетный гражданин г. Касимова, купец Хамза Шакулов. Получив согласие от Городской Думы, Шакулов приступил к строительным работам, которые закончились к 1839 году, строение получило название «татарский корпус», по национальности владельца. Большую часть лавок Шакулов сдавал внаём. Замысел архитектора не был осуществлён полностью, так как строительство четвёртого корпуса так и не состоялось.
Все три каменных корпуса построены в стиле ампир с фронтонами и расположены на косогоре центральной части Соборной площади. Два корпуса №1 и №2, имеют по 33 торговых помещения, со стороны реки двухэтажные, а со стороны собора одноэтажные, с открытой галереей и колоннами.
Корпус №3 – одноэтажный и включает в себя 22 торговые лавки. Основной архитектурной композицией является аркада, образованная тяжелыми прямоугольными пилонами, на которые опираются полуциркульные арки с крупными двойными замковыми камнями. Центральная часть протяженного фасада каждого из зданий акцентирована портиками, 12 колонн которых, поставленных попарно вплотную к пилонам, объединяет этот корпус с двумя другими, построенными в два этажа.
До недавнего времени два корпуса №1 и №3 использовались по прямому назначению, а №2 («татарский») после пожара был восстановлен к 2002 году. В 2014 году после обрушения стены у корпуса №3 (со стороны Успенской церкви) были произведены реставрационные работы. А с января 2015 года началась реставрация первого и второго корпусов. В 2017 году музею в безвозмездное пользование был передан объект культурного наследия федерального значения «Три корпуса Торговых рядов XIX в.».