Zamek zatorski wzniesiony został w XV w. przez pierwszego księcia zatorskiego Wacława jako gotycki zamek obronny, wymurowany m.in. z materiału pochodzącego z rozbiórki dawnego grodu leżącego nad brzegiem rzeki Skawy.

Wygląd zamku został opisany w akcie podziału Księstwa Oświęcimskiego i powstaniu Księstwa Zatorskiego z 1474 roku.

Jak podaje Zbigniew Perzanowski: „Była to budowla dwupiętrowa, składająca się z 4 dużych izb, 3 komnat zajmujących front pierwszego pietra oraz kilku komnat po bokach budowli. Drugie piętro mieściło wielką salę i 4 inne komnaty. Parter zajmowała kuchnia i komory. Dziedziniec zamkowy zamknięty był zabudowaniami stajennymi. Sam więc zamek nie miał charakteru zbyt obronnego. Prawdopodobnie otoczony był wałem i fosami […].” Autor Słownika Geograficznego ponadto uzupełnia opis o detale sylwety budowli: „wymurowany z cegły na głębokich fundamentach, o dwóch piętrach z wykuszem na wysokości pierwszego pietra, miał na tymże piętrze 4 duże izby i 3 komnaty z frontu, nadto kilka świetlnych komnat z boku”. Zamek miał być chlubą powstałego Księstwa Zatorskiego. Faktem świadczącym o bardzo prężnym rozwoju Księstwa (do którego należały również Kalwaria, Wadowice i Sucha Beskidzka) są pierwsze w tej części Polski stawy hodowlane. Stały się przyczynkiem do powstania dzisiejszej „Doliny Karpia”, a ówcześnie każdego roku dostarczały na krakowski Wawel 30 ton ryb. Jednakże w Krakowie zachwycano się smakiem nie tylko zatorskiego karpia. Już w XIV w. rarytasem w krakowskich sukiennicach było piwo zatorskie o nazwie „marzec”, od której powstała nazwa podatku tzw. „marcowe”, który płacili właściciele browaru w mieście Zator i w konsekwencji nazwa jednego z najpopularniejszych obecnie gatunków piwa.

Syn założyciela księstwa Jan V z braku legalnego potomstwa, sprzedał Księstwo Zatorskie królowi Janowi Olbrachtowi. W 1564 r. na sejmie walnym nastąpiło oficjalne włączenie księstwa i zamku do Polski.

W XVI w. zamek został przebudowany. Powstał wtedy piękny tarasowy ogród. Kolejna przebudowa została przeprowadzona w 1778 r. przez nowych właścicieli, rodzinę Duninów. Nadbudowano drugie piętro, gdzie urządzono dodatkowe izby mieszkalne.

Następną przebudowę rozpoczęto w 1836 r. na zlecenie Anny z Tyszkiewiczów Potockiej Wąsowiczowej, która odziedziczyła dobra zatorskie po matce Konstancji Poniatowskiej, córce Apolonii z Ustrzyckich Poniatowskiej. Zamek przybrał postać romantycznej rezydencji. Autorem przebudowy był Franciszek Maria Lanci, znany m.in. z przebudowy Wilanowa, Krzeszowic, kaplicy Potockich na Wawelu.

Powstała budowla na planie regularnego czworokąta o prostej bryle. Wysoka na cztery piętra wieża udekorowana została spiczastym hełmem oraz licznymi pomniejszymi wieżyczkami. Portal wejściowy i okna otrzymały zachowane do dziś neogotyckie obramienia. Gzyms w postaci głów psów myśliwskich okala budynek. Od południowej strony budynku powstała oranżeria, a przy niej taras z widokiem na rozległy nowy park o charakterze swobodnym. Piękne jesiony i dęby podkreślały wielowiekową historię rezydencji, a zasadzone daglezje, graby i lipy nowe trendy.

Wnętrza budynku ozdobili dekoracją malarską Włoch Serafin Liatti i Kajetan Goliński. Do dziś zachowane są cztery bogato zdobione sale na parterze: myśliwska, złota, paprociowa i bluszczowa oraz sień zdobiona herbami rodzin związanych z zamkiem.

W XIX w. zamek był rezydencją i równocześnie pełnił rolę muzeum. Był pamiątką narodową i centrum kulturalnym. W zamku zgromadzono dzieła sztuki i historyczne pamiątki, wśród których znajdowały się m.in. srebrna taca królowej Bony, róg myśliwski z kości słoniowej króla Augusta II, siodła królów Sobieskiego i Batorego, część apteczki Augusta III, stare zbroje, stylowe meble oraz marmurowe rzeźby. Na pierwszym piętrze zamku urządzono galerię i bogato wyposażoną bibliotekę.

Po śmierci Anny Potockiej w 1867 r. Zator przeszedł na własność jej syna, Maurycego Potockiego z Wilanowa, oficera powstania styczniowego i kawalera Virtuti Militari. Zamek był rzadko używany i stopniowo zaniedbywany. W 1908 r. spadkobiercy Maurycego sprzedali majątek zatorski Krystynie z Tyszkiewiczów Potockiej, wdowie po Namiestniku Galicji, Andrzeju Kazimierzu Potockim z Krzeszowic. Ostatnim przedwojennym właścicielem „Klucza Zatorskiego” był Adam Potocki, syn Krystyny, który wraz z żoną Marią z Dembińskich, synem Andrzejem i córką Marią Teresą mieszkał w zamku do 1939 r. W tym czasie majątek zatorski miał około 3000 hektarów, w skład którego wchodziły folwarki, stawy rybne, pola uprawne, lasy i pastwiska.

Bezpośrednio przed wojną, latem 1939 roku, Potockim udało się zapakować i uratować część cennych przedmiotów z zamku.

W 1939 r. po wcieleniu części Polski, w tym miasta Zator, do Rzeszy Niemieckiej, majątek został zajęty przez Wehrmacht i zagospodarowany dla potrzeb okupanta. Cenny księgozbiór został spalony na dziedzińcu zamku. Sam zamek stał się miejscem, do którego kierowano rodziny kolonistów niemieckich z Wołynia i Besarabii, nim zajęli oni gospodarstwa opuszczone przez wysiedlonych lub skierowanych do obozów koncentracyjnych polskich właścicieli.

W 1945 r. zamek zatorski, wraz z całym majątkiem Potockich, został bezprawnie odebrany właścicielom przez władze komunistyczne. Na krótki czas przemieniono zabytek w koszary, a następnie w 1946 r. na mocy dekretu PKWN o przeprowadzeniu reformy rolnej, przekazano majątek w zarządzanie Instytutowi Zootechnicznemu przy Uniwersytecie Jagiellońskim. Mimo licznych pism i skarg, skierowanych do władz komunistycznych przedstawiających walory zabytkowe i historyczne, w zamku stworzono skład zboża, nawozów i paszy oraz mieszkania dla robotników, a także Izbę Porodową. Wiele mieszkańców Zatora i okolic urodziło się na zamku. W latach 60-tych zamek został odremontowany i służył jako siedziba i laboratoria Instytutu Zootechniki. 20 lat później majątek przejął Instytut Rybactwa Śródlądowego w Olsztynie, tworząc Rybacki Zakład Doświadczalny. Zamek służył jako biura, laboratoria i mieszkania pracownicze, odbywały się tu przyjęcia i posiedzenia lokalnych działaczy PZPR.

W 2005 r. ze względu na pogarszający się stan techniczny obiektu, wynikający z braku inwestycji i błędnie przeprowadzonych remontów oraz braku gospodarnego dbania o dobro powierzone, Zakład Doświadczalny opuścił budynek. Zamek został pusty, nie ogrzewany i mocno zniszczony. Popękane szyby w oknach, cieknący, niełatany dach, dziurawe rynny i zaniedbany park niczym nie przypominały pięknej romantycznej rezydencji dzieła Lanciego.

W 2006 r. spadkobiercy Adama Potockiego i Marii Teresy z Potockich Bnińskiej (zmarłych na uchodźstwie w 1966 r. i 1997 r.) rozpoczęli starania o odzyskanie zespołu zamkowo – parkowego w Zatorze, zakończone sukcesem w 2016 r.

Obecnie zamek jest własnością rodziny Bnińskich herbu Łodzia.

Po wielu latach zaniedbań powojennych użytkowników oraz 10 letnim pustostanie, kompleks zamkowo – parkowy w Zatorze jest w katastrofalnym stanie i wymaga generalnego remontu.

W celu ratowania zabytku w wrześniu 2015 r. spadkobiercy Marii Teresy z Potockich Bnińskiej utworzyli „Fundację Zamek w Zatorze”.