Il castello su piazza Kamplin fu eretto dalla famiglia nobile dei Frankopan nel corso di vari secoli e generazioni. La parte più antica del complesso fortificato è la torre quadrata accanto all'edificio diocesano in cui si trovava l'aula di tribunale. L’iscrizione nella lunetta sopra l'ingresso indica che il complesso fu eretto nel 1191, sotto il vescovo Ivan e i principi Bartul e Vid, con l'aiuto di tutto il comune. La torre rotonda sulla parte settentrionale del castello fu costruita dopo quella quadrata, probabilmente nel XIII secolo. Non si sa esattamente quando, ma l'intero complesso fu completato prima del 1348. La ricostruzione avvenne intorno al 1480 e 1600. Sfoggia una lastra raffigurante il leone di San Marco con la scritta "Aureae Venetorum libertati" (Santa libertà veneziana) che risale al 1500. La parte orientale del castello, affacciata sul mare, vanta un’altra torre quadrata, mentre a ovest si trovava una torre di guardia. All'interno del complesso erano stati ricavati locali per l’alloggiamento dei soldati.