Od tih najstarijih dijelova očuvana je samo još branič-kula. U trećem desetljeću 16. st. grad se počinje pregrađivati. Tijekom 17. i 18. stoljeća grad se dograđuje i pregrađuje, u njegovu gornjem dijelu formira se dvorište čija su pročelja s dvije strane rasčlanjena trijemovima s toskanskim stupovima, unutrašnjost se bogato oprema, što sve pridonosi da se izgledom i kvalitetom stanovanja približi baroknim dvorcima. Život u njemu traje sve do kraja 18. st. kafa ga vlasnici napuštaju. Tijekom stoljeća promijenio je mnoge vlasnike: grofove Celjske, Frankopane, Tržačke, Tahija, Erdödyja, Auersperga, Kulmera, Kiepacha, te Montecuccolija od kojeg je samoborska općina 1902. god. Stari grad i otkupila. Unutar zidina su i ruševine gotičke kapele sv. Ane.