Первоначально здесь стоял дом купца Ивана Григорьевича Губина. Губины до середины XIX в. относились к крепким купеческим семьям Касимова. В XVIII в. Губин владел земельным участком на Соборной площади, там построил одноэтажный дом «с лавками», который открывался на площадь галереей с аркадами. Дом тоже пострадал от опустошительного пожара 1828 года, в 1830-е гг. Губин, вместо сгоревшего дома из четырех комнат, возвел новый, включавший уже одиннадцать жилых помещений. Затем от Губиных дом перешел к обосновавшимся в Касимове тульским купцам Слетовым, во владении которых оставался до революции.
В Касимове И.Слетов торговал хлебом. В 1841 году, в результате неурожая в уезде заметно возросли цены на хлеб. Он совместно с С.Т. Колобаевым снизил цены на хлеб в городе и уезде, ввезя в уезд дополнительное количество хлеба. Если перевести их пожертвования на деньги получилась бы сумма в 50 000 рублей.
Купив дом, новые владельцы решили перестроить его в 1843 году. Старый дом расширили и надстроили, в результате нижний этаж со сводчатыми потолками оказался старше верхнего. Угол дома, выходящий на Соборную площадь, трактован в виде ротонды. Со стороны двора фасад дома был галереей, с которой хозяину было удобно наблюдать за ходом жизни двора. Перестройка была поручена И.С. Гагину.
Усадьба отражала характер городской жизни уездного города. Во дворе находились амбары с вышкой (голубятней), обширные сушилы для белья и сена, погреба, конюшни, каретные сараи. Еще в 1916 году там можно было увидеть целую коллекцию старинных экипажей. В саду стояла баня со всеми подобающим оборудованием. Сад отделялся от двора решетчатой изгородью, и, в основном, лежал на склоне Успенского оврага. Он был обработан земляными террасами с широкими деревянными лестницами и оригинальными деревянными диванами, которые почти непрерывно рядом тянулись вдоль каждой террасы и охватывали гранями все выступы и углубления почвы.
Вначале 1920-х гг. дом сохранял свое внутреннее убранство: парадные комнаты, гостиные оставались без переделок. Но организации, занимавшие это здание в разные годы, изменили внутреннюю планировку, приспосабливая ее под свои запросы. Исключением был музей, которому это здание передали в 1924 году. В 1930 году музей был выселен из занимаемого здания, это помещение заняли органы милиции. С 1965 года и по настоящее время здесь располагается Детская музыкальная школа.