V roce 1374 udelil velmistr Rádu nemeckých rytíru Konrad III. Zöllner von Rotenstein pozemky poblíž dnešního Elbląžského kanálu trem pruským bratrum. Od 16. do 19. století byla Barzyna úzce spjata s rodem von Bodeck, který v roce 1693 dokončil stavbu zámku kombinujícího barokní a novogotické prvky.
Zámek v Barzyne má ve strední části malý vstupní rizalit. Levé krídlo bylo zakončeno mansardovou strechou. Pravé krídlo bylo vybudováno v novogotickém stylu, s vežemi v rozích a plochou strechou. V zámku se donedávna dochoval barokní portál s tzv. ušáky, ozdobený puvodním erbem rodu von Bodeck.
V roce 1829 zemrel poslední mužský predstavitel rodu von Bodeck. Panství prevzal pruský major Kazimierz von Hülsen z nedalekého Jarnołtowa, kde v letech 1750-1754 pusobil jako učitel slavný filozof Immanuel Kant. Pozdeji panství prešlo do rukou barona Bernharda von Sandena, manžela Urliky von Bodeck, dcery Albrechta Christopha, posledního člena rodu.
Jedním z nejzajímavejších majitelu byli bratri Frankensteinové, kterí panství získali v roce 1868 a spravovali až do roku 1910. Stojí za zmínku, že v podobném období, v roce 1818, vyšla slavná novela "Frankenstein" od Mary Shelley, považovaná za první dílo science fiction. Bratri Frankensteinové obývali zámek až do doby, kdy vznikla první filmová adaptace slavného príbehu. Kdo ví, jaká tajemství tato starobylá stavba skrývá?
Podle záznamu z roku 1889 zabíralo panství včetne prilehlých pozemku více než 570 hektaru. Krome zahrad a mohutného dubovo-bukového starého lesa, který se částečne zachoval dodnes, k nemu patrily tri velké statky. Chovaly se zde napríklad merinové ovce a v blízkosti byla rozlehlá bažantnice. Pred vypuknutím druhé svetové války se panství rozrostlo na více než 900 hektaru, z toho 100 hektaru tvorily lesy. Dnes jsou pozustatky zámku zarostlé prírodou, ale i v troskách lze zahlédnout jeho nekdejší velkolepost.
O osudu zámku behem let 1939-1945 se dochovalo jen málo informací. V lednu 1945 pri sovetské ofenzive ve Východním Prusku spáchal von der Groeben, poslední pruský majitel zámku, sebevraždu. Zastrelil se, když do Elblągu dorazily první jednotky Rudé armády. Byl poručíkem Volkssturmu – lidových jednotek, které byly nasazovány na sklonku druhé svetové války.
Po válce v zámku krátce fungovala materská škola a pozdeji byty pro zamestnance státního statku (PGR). V současnosti je objekt v soukromých rukou a bez potrebné rekonstrukce dál chátrá. Prohlídka ruin je nejen smutná, ale i nebezpečná - část strechy se zrítila, zdi hrozí pádem. Nekteré historické prvky se však podarilo zachránit a prenést do dobre zachovaného zámku rodu von Donhoff v nedalekých Kwitajnach. Od roku 1968 je zámek v Barzyne veden jako kulturní památka.