Замок расположен в Старых Прилуках над Десной, от которой замок отделяет вал.
На месте старого городища существовал замок Збаражских. В 1594 у замка распологалось 4000 казацких домов. Александр Борецкий построил здесь дворец, заложил парк, часовню и конюшню из стада порозистих лошадей. В 1805 г.. его дочь соорудила в Прилуках костел Св. Анны и в 1819 Преображенскую церквую. Во второй половине 19 в. дворец принадлежал Чеславау Здыховскому, он перестроил дворец. Последним владельцем стал Сергей Меринг, он также отреставрировал дворец. Точно не известно как выглядел дворец Борецкого, но мы знаем, что Борецкий был магнатом и окружал себя соответствующим бытом. Также неизвестно, что именно в облике дворца изменили Чеслав Здеховський и Меринг. Во дворце находилась картины старых школ немецких и испанских художников, а также работы Стимлера, Ґроттґера. Выставленные на продажу сыном Здеховського картины были оценены в 100 000 серебряных червонцев. Часть галереи Здеховського попала к российскому правительству. Сейчас в бывшем дворце содержится Староприлуцкая специализированная общеобразовательная школа-интернат.