Drevna građevina se prvi put spominje u pisanim izvorima 1362. godine. U Kuli iznad Kamenitih vrata stoluje Družba od 1907. godine.

Prvo veliko djelo Družba je ostvarila u Zagrebu spasivši od rušenja jedan od simbola Zagreba, posljednja očuvana gradska vrata podignuta sredinom XIII. stoljeća, Kamenita vrata. Družba je taj drevni objekt obnovila u više navrata: 1907., 1938., te nedavno, nakon obnove djelovanja.
Očuvanje Kamenitih vrata za potomstvo hrvatskoga naroda postignuto je tako što je Meštarski zbor 13. ožujka 1907. godine pismeno predložio Gradskom poglavarstvu da obnovi Kamenita vrata, a u Kuli nad Kamenitim vratima osnuje i uredi nove ustanove: knjižnicu, muzej i arhiv grada Zagreba. Gradsko poglavarstvo je na sjednici 8. svibnja 1907. godine prihvatilo prijedlog, a Skupština grada Zagreba 11. svibnja 1907. donijela zaključak i obavijestila Družbu da joj povjerava i daje na neograničeno korištenje Kulu nad Kamenitim vratima, pa su u lipnju započeli radovi na preuredenju prostorija. Prostor prvog kata je pregraden po visini pa su dobivena dva kata. Na prvom katu je ureden muzej grada Zagreba, a na drugom knjižnica i arhiv grada Zagreba. Krajem kolovoza radovi su završeni i Družba je predala zagrebačkim gradanima 7. prosinca 1907. godine na korištenje novoutemeljene ustanove: Gradsku knjižnicu, Muzej grada Zagreba i Gradski arhiv.
Družba je zatim uputila proglas hrvatskoj javnosti o potrebi darovanja knjiga i predmeta novoutemeljenim ustanovama. Prigodom otvaranja knjižnica je imala 7.000 knjiga, a krajem 1908. godine 14.000 naslova. Te godine knjižnicu je koristilo 42.672 korisnika ili oko 125 osoba dnevno! Tim povodom je Grad Zagreb iza ulaznih vrata u Zmajsku kulu, na desnom zidu stubišta, podignuo spomen-ploču na kojoj je trajno obilježen taj čin.

Gradski arhiv djeluje u Kuli nad Kamenitim vratima do 4. svibnja 1914., Gradski muzej do 26. lipnja 1925., a Gradska knjižnica do 9. travnja 1938. godine. Nakon što se Gradska knjižnica iselila, sredinom 1938. prema nacrtima Jurja Denzlera, Zmaja od Harmice, izvršena je potpuna rekonstrukcija unutrašnjosti kule, pa je prema njegovim projektima oblikovana i velika dvorana. Zovemo ju ” Zmajska ili Viteška dvorana”. Tom prilikom je za osvjetljenje dvorane iz kovanog željeza izraden s 24 svijeće u “viteškim rukavicama” umjetnički oblikovan svijećnjak. Autor je arhitekt Zvonimir Kavurić. Na medunarodnoj obrtničkoj izložbi u Berlinu 1938. godine svijećnjak je dobio prvu nagradu. U znak priznanja za to veliko djelo obnove Kule nad Kamenitim vratima podignuta je 1938. spomen-ploča.
Kao posebnost velike dvorane su natpisi na gredama: “PRO ARIS ET FOCIS DEO PROPITIO”, “DOK JE SRCA BIT ĆE I KROACIJE”, “NAVIK ON ŽIVI KI ZGINE POŠTENO”, “O LIJEPA O DRAGA O SLATKA SLOBODO, DARE U KOM SVA BLAGA VIŠNJI NAM BOG JE DO”.