Прилуки известны истории с 1567 года. В 1635 году с благословения киевского митрополита Петра Могилы тут был основан мужской православный монастырь, просуществовавший более ста лет. Здание монастыря или, как его еще называли, «каменного дома» было похоже на замок в готическом стиле с башнями, крепостными зубцами и фасадами.
Паркет, позолоченная лепнина на потолках обрамляли интерьер дворца, в парадных комнатах документы зафиксировали дубовый, обтянутый кожей гарнитур, рокайльную мебель в стиле Людовика XV, два рояля, пианино, шкафы, гданьские сундуки, полотна кисти Яна Матейко, семейные портреты, миниатюры XVIII-XIX веков, серебро, саксонский и французский фарфор.
В 1740 году по загадочным обстоятельствам здание дворца разрушилось, и новые владельцы усадьбы Ивановские перестроили монастырь в замок.
В 1815 году от Ивановских по женской линии Прилуки перешли к Франтишку Ошторпу, минскому губернскому маршалку шляхты, а после того, как тот утонул в Свислочи в 1851 году, к его зятю агроному Антону Горватту.
усадьба с ее изысканным готическим силуэтом заслужено считалась одной из наиболее привлекательных на Минщине. Резиденцией рода Чапских она стала в 1872 году и до 1917 года находилась в их собственности.
Во время Второй мировой войны здесь располагался загородный дом гауляйтера Беларуси Вильгельма Кубе.
Сейчас во дворце размещен Белорусский научно-исследовательский институт защиты растений, который и поддерживает здание и окружающие его постройки в более-менее пристойном состоянии.