Двухэтажный дом с четырёхколонным портиком на втором этаже, самый старинный в этой части города, который располагается в северо-западной стороне Соборной площади. Усадебное место в данном квартале некогда принадлежало именитому горожанину Касимова – И.С. Полежаеву, затем было куплено Н.М. Скорняковым. Здесь был построен большой 2-х этажный дом, имеющий два флигеля, балконы на верхнем и нижнем этажах. Это здание именуют по-разному: дом Скорнякова, «Воеводский дом», дом Львовых.
По преданию дом построен гусевским заводчиком Баташовым для Касимовского земского деятеля Скорнякова. Один из Скорняковых дослужился до звания лейб-кучера при Елизавете Петровне, получил от нее дворянство и герб с изображением «Коня в Каретном уборе». А Баташов, долгое время добивавшийся дворянского звания, получил его с помощью Скорнякова.
«Воеводский дом» называли потому, что там стоял трон Касимовского воеводы, который был перенесен сюда после упразднения должности воеводы в 1775 году. Для трона было выделено место как для царского места в старых соборах, с сенью на тонких колонках и государственным гербом наверху. Трон здесь стоял до тех пор, пока члены Рязанской Ученой Архивной комиссии не перевезли его в свой музей. К сожалению, до наших дней не сохранился.
Сам дом переходил по наследству к потомкам по женской линии: Губаревым, Виноградовым. Последние владельцы дома, перед революцией, внуки Виноградовой – Львовы.
Приземистый основательный дом сложен из кирпичей домашнего производства огромных размеров. Очень толстые стены. Нижний этаж дома покрыт сводами, полы каменные и кирпичные. Внутренняя планировка жилья была очень сложной и запутанной, кругом переходы и чуланчики, тайники. Внутренние лестницы были узкими и извилистыми: то пробитыми в толще стены, а то неожиданно уходящие вниз. Горожане связывали с этим домом ряд легенд. В одной из них речь шла о подземном ходе, шедшем из здания в сторону Оки. Также упоминаются клады, спрятанные в доме и около него.
Не ясно назначение узкого фасадного балкона. Едва можно пройти между колонной и стеной. Полукруглое окно под фронтоном выходит на чердак, а с него полупотайной вход ведет в низкие боковые антресоли. Раньше двор имел двое ворот, одни уже давно не функционируют, т.к. застроены с внутренней стороны. Парадный вход в дом был со стороны двора, сейчас он испорчен каменной пристройкой. Со двора дом 2-х этажный, благодаря мезонину. Парадная лестница имела прекрасные чугунные перила, составленные из звеньев в виде лиры, как стилизовал ее ранний ампир. Это баташовское литье.
Усадьба была очень большая, занимала весь квартал, спускалась до Никольского оврага. Здесь был целый поселок со всевозможными хозяйственными строениями, среди которых были и каменные. Была своя домашняя ткацкая мастерская и сарай для производства домашних кирпичей и мн.др. По типу эта усадьба скорее относилась к помещичьей. Все необходимое для жизнедеятельности производилось на месте. Был огромный сад. Часть деревянных домиков, где жили дворовые, сохранились и до наших дней, но уже, как обывательские дома, разойдясь продажей в разные руки.
Львовы сдавали дом внаем Уездной Земской Управе, позднее Русскому Торгово-промышленному банку, который произвел в доме большие переделки. Ломал прежние стены, ставил перегородки, устраивал новые проемы. В результате интерьер дома был искажен. В 1924 году здесь был открыт лазарет, и уже к революции от внутренней отделки не осталось и следа. С тех пор дом успел побывать общежитием, клубом Утюжного завода, несколько лет на 2-м этаже размещался естественный отдел музея. Сейчас это жилой дом.