Z kdysi hrdého hradu Sivý kameň, jenž si své jméno zasloužil díky horninovému
podloží a stavebnímu materiálu, toho dnes příliš mnoho nezbylo. Sivý Kameň tvoří jen nesouvislé
trosky opevnění, které jsou jakoby bez ladu a skladu roztroušeny na strmém návrší budovaném
vulkanickými komplexy, podobně jako celé pohoří Vtáčnik.
Strmé travnaté návrší s vystupujícími bizarními skálami se zvedá nad obcí
Podhradie nedaleko města Prievidza. Díky své poloze a vhodnému reliéfu bylo toto návrší
v minulosti vybráno ke stavbě hradu Sivý kameň, jenž je poprvé zmiňován v druhé polovině
14. století. Přesný datum vzniku hradu není známo, ale s výstavbou pevnosti se započalo
někdy po roce 1321 po smrti Matúša Čáka Trenčianského, kdy v Uhrách opadla moc oligarchů
a určitě před rokem 1352.
V té době byl Sivý Kameň pravděpodobně pouze malou pevností tvořenou hranolovou věží,
obdélníkovým gotickým palácem a obvodovou hradbou. Hrad spravoval a vojensky zajišťoval
jižní část původního panství. Po roce 1388 přechází Sivý Kameň z rukou bojnických
královských kastelánů do rukou soukromých. Uherský král Zikmund Lucemburský věnuje za
záchranu života v boji s Turky Sivý Kameň do rukou Leustachovi Jolšvaiovi. Po jeho smrti
v roce 1429 se hrad vrací do královských majetků.
V roce 1434 dostává Sivý Kameň nového pána. Za zásluhy při obraně Uher před Turky
i husity získává hrad Gregor Majtényi. V následujícím období je hrad rozšiřován a opevňován.
Původní palác dostává rozměry velké pevnosti nepravidelného půdorysu o rozměrech asi
130 × 65 m.
V roce 1524 postihla hrad pohroma, velká pevnost vyhořela. Avšak ani po
nejnutnějších opravách Sivý Kameň neměl zdaleka vystaráno. Ve 40. letech panství přepadli
loupeživí rytíři Jan a Rafael Podmanikovci, prý hájíc nároky Jana Zápolského na uherský
trůn. Na pevných hradbách si sice vylámali zuby, zato zcela vyplenili okolní vsi a hradní
panství zůstalo doslova v troskách.
Poslední ránu Sivému Kameni zasadila více než stoletá série stavovských povstání, po
nichž zůstala kdysi mohutná pevnost v ruinách. Dílo zkázy završili obyvatelé okolních
obcí, kteří využívali hradní zdivo jako stavební materiál a ve velkém je odváželi.
Hradní návrší Sivého Kamene, jehož stabilita byla narušena vytěžením jedné ze slojí
hnědého uhlí, bylo v roce 1973 vyhlášeno za chráněný přírodní výtvor.