Pod ohradní zdí kostela sv. Václava se nachází nenápadná patrová, břízolitem omítnutá budova bývalého zámku. Ten nechal v letech 1724 – 1726 vystavět tehdejší majitel starojického panství A. K. Zeno z Danhausenu. Od r. 1772 patřil tento zámek rodu Seilernů. Pak nastaly pro poddané krušné časy – někteří byli vězněni a za trest pracovali v poutech při opravách cest. Na zámku se v té době úřadovalo pouze německy.

Původní vzhled zámku: jednopatrová barokní budova s dvojramenným venkovním schodištěm. Římsy zdobila balustráda s alegorickými sochami. Zde také nechal přenést stavitel zámku část mobiliáře ze starého hradu. Zámek byl propojen s přilehlým kostelem krytou pavlačí. K zámku patřila krásná zahrada se vzácnými dřevinami. Součástí byly plastiky svatých od hranického sochaře Gallaše, umístěné při vjezdu z aleje vedoucí k arendě. U panského skleníku stála fontána.

Jako panské sídlo zámek sloužil pouze do r. 1875, kdy jej již značně zchátralý odkoupila od rodu Seilernů obec a přestavěla jej na školu. Necitlivou přestavbou byl zámecký charakter sídla zcela potlačen. Byly zničeny barokní fasády, štuky, schodiště a balustráda, v interiéru odstraněny nástěnné malby a parkety, došlo i na krásné sochy v zámecké zahradě. Jako škola budova sloužila do 60. let 20. st. Po r. 1970 byla upravena na kulturní dům a sloužila jako sklady. V současné době je v budově několik bytových jednotek a malá obecní knihovna. Bývalé zámecké sídlo připomíná snad jen korunní římsa, část opěráku na vstupní straně a několik klenutých místností v interiéru bývalého zámečku. Budovu je možné prozkoumat ze vstupní strany. Nádvorní strana slouží k soukromým účelům, ale je možné si ji prohlédnout z terasy kolem kostela. Římsko-katolický farní chrám zasvěcený sv. Václavovi je poprvé písemně doložen r. 1376, údajně kdysi býval nad vstupem do kostela letopočet 1144. Zajímavostí je kryté schodiště spojující areál kolem kostela s budovou fary. V bývalé zámecké zahradě stojí sochy sv. Floriána a sv. Vendelína.