Из усадеб промышленного типа наибольший интерес представляет усадьба купцов Кастровых на ул. Набережной. В конце XVIII в. владение, занимаемое усадебным комплексом, принадлежало купцам второй гильдии Казлининым. Усадьба Казлининых сформировалась на рубеже XVIII – XIX вв., как типичный купеческий городской усадебный комплекс. Согласно описи, он включал каменный двухэтажный жилой дом с каменным же флигелем, три деревянных жилых дома, из них один «ветхой» и множество деревянных построек хозяйственного и промышленного назначения. Дополнял усадьбу сад. В 1815 году владение Казлининых было куплено с аукциона Дмитрием Кирилловичем Вереиным. Для Вереина, занимавшегося кожевенным производством, усадьба была весьма привлекательна: участок площадью около 1500 кв. м. занимал угол квартала, образованный ул. Набережной и Успенским оврагом, и был очень удобен для устройства кожевенного заведения. В ведомостях фабрик и заводов Касимова за 1822 год два кожевенных завода братьев Вереиных, расположенных в Успенском овраге, завод, принадлежавший Дмитрию Кирилловичу, видимо, находился во вновь купленной усадьбе. Позже Вереин приобрел два соседних участка, значительно расширив первоначальную территорию владения. Застраивалась усадьба с учетом ее промышленного назначения. Помимо дома, расположенного в глубине двора, здесь находился комплекс каменных промышленных построек. Автором проекта усадебного комплекса был касимовский архитектор И.С. Гагин. Наследники Д.К. Вереина владели усадьбой до 1894 года, когда она была продана купцу А.С. Замешаеву, а тот, в свою очередь, в начале 1900-х гг. продал владение татарскому купцу Мухамету Кастрову. Касимовские татары издревле считались искусными мастерами по выделке кож. По имени последнего владельца усадьба известна как «усадьба Кастровых». Кастровы входили в число ведущих татарских торгово-промышленных родов города Касимова, являлись владельцами мерлушечных предприятий, крупнейшими торговцами. Торговлю своей меховой продукцией в различных городах Российской империи Кастровы осуществляли через многочисленных представителей. Одними из первых среди касимовских предпринимателей они начали издавать рекламные проспекты. Кастровы имели несколько купленных у помещиков имений в окрестностях Касимова, владели особняками в разных частях города.
В связи со значительным поперечным уклоном, здание сооружено на подклети. Само здание двухэтажное с четырех колонным портиком у главного фасада. Размеры в плане 17,2х17,2м. Фундамент и стены сложены из кирпича, колонны сложены из белокаменных деталей, перекрытия – накат по деревянным балкам. На красном фоне кирпичных стен четко выделяются белые каменные декоративные детали: колонны, замковые камни декоративных арок подклеточного этажа, декоративные фронтоны окон и профилированные карнизы. Расположенный на склоне берега реки памятник представляет собой квадратный двухэтажный объем с четырехколонным портиком и мезонином в центральной части. Основной дом и хозяйственные постройки имеют большое значение в формировании панорамы города.