Původní (nejstarší) podobu hradu je vzhledem k bohaté stavební činnosti obtížné určit. Nejnovější poznatky však dovolují vyslovit teorii, že původní hradní jádro se rozkládalo okolo nejvyššího bodu dnešní zastavěné plochy hradního areálu. Jedním z důvodů volby tohoto ne příliš výhodného staveniště může být i případná existence starší tvrze. V čele tehdejšího hradního jádra se nacházela obytná stavba, pravděpodobně věžovitého charakteru (snad pozůstatek tvrze), k níž se od západu přimykal podélný objekt, jehož dvorní fasádu odkryl nedávný výzkum (1998). Severně od popsaných staveb se nacházelo nádvoří obezděné kamennou, přes dva metry silnou hradební zdí. Původní vstup předpokládáme západně od dnešní vstupní věže. Na západní a severní straně byl hrad obehnán příkopem, východní a jižní strany byly chráněny strmými skalnatými svahy.

Někdy v první polovině 15. století došlo ke zřícení či zboření horních částí věžovité stavby v čele hradu. Následovaly stavební práce k urychlenému zajištění bezpečnosti hradu. Tyto stavební úpravy probíhající za Lichtenburků však neměly dlouhého trvání.     Za nových vlastníků Tetourů z Tetova došlo k radikální přestavbě hradeb, na jejichž koruně vznikl kvalitní střelecký ochoz, který je zčásti dochován dodnes. Do této doby je rovněž zařazen vznik hranolové vstupní věže. Ve druhé polovině 15. století též dochází k významnému rozšíření obytných prostor hradu. Severní stranu starého nádvoří doplnily dvě palácové stavby, které mezi sebou ponechaly úzkou, později zastavěnou uličku. Stavební činnost se dotkla i dolní části hradu. Zde vznikl dvouprostorový palác na jižní straně a další stavba přimykající se ke vstupní věži. Do stejné doby se řadí výstavba věžovitého průchozího objektu, který se stal jádrem dnešní budovy předhradí.

Na začátku 16. století vzniká západní trakt dolní části hradu. Do poloviny 16. století je sídlo radikálně přestavěno do goticko-renesanční podoby. V této době dochází také k zásadnímu zásahu do organismu hradu. Dělící hradba mezi jeho dolní a horní částí je odstraněna a v bývalé dolní části vzniká palácové křídlo.Teprve až nyní vzniká dnešní charakteristické úzké nádvoří. Za renesanční přestavby vznikl objekt předhradí, který si svou podobu dochoval dodnes.

Kvůli třicetileté válce byly podstatnější stavební úpravy posunuty na závěr 17. století, kdy hrad kupují Lichtenštejn-Kastelkornové. Jejich stavební činnosti je připisováno dnešní polygonální ukončení vstupní věže, nový portál této věže s rodovým znakem a především vložení velkého schodiště do vstupní věže. Barokní přestavba v podstatě završila pozitivní stavební vývoj hradu. Okolí hradu bylo postupně parkově a zahradnicky upravováno, čímž zanikla podstatná část vnějšího opevnění.

V 19. století (za Šternberků) přestává hrad sloužit svému původnímu účelu. Koncem století je jeho technický stav velmi vážný. Došlo k popraskání zdí a zřícení některých stropů. K rozsáhlejším opravám došlo ve 40. letech 20. století, kdy byly opraveny střechy.