Zřejmě nejstarší šlechtický hrad se dvěma okrouhlými věžemi bylo oblíbené místo pobytu Václava IV., v současné době romantickým zákoutím skýtajícím výhled do širokého okolí s dominantním sousedním hradem Točníkem. Po Václavské přestavbě se z něj stala jedna z nejnádhernějších rezidencí v zemi.
Hrad byl založen v druhé polovině 13. století příslušníkem mocného rodu Buziců při obchodní cestě do Bavor. V roce 1342 se hrad stal královským majetkem. Král Karel IV. jej často používal jako zastávku při svých cestách do Říše, dokud mu zde o vánocích roku 1351 nezemřel prvorozený syn Václav. V roce 1392 zde král Václav IV. potvrdil listinu, jíž bylo povoleno založení Betlémské kaple na Starém městě pražském. Husitské války se hradu téměř nedotkly, znamenaly však jeho přechod do rukou zástavních držitelů. Od začátku 16. století se zájem majitelů přesunul na nedaleký pohodlnější Točník a hrad Žebrák počal chátrat, čemuž napomohli i hledači pokladů. Po požáru v roce 1532 je hrad připomínán již jako pustý. Poslední šlechtický majitel objektu Josef Colloredo Mansfeld prodal hrad ve dvacátých letech Klubu českých turistů. Hrad Žebrák byl od poloviny 13. století využíván šlechtou i českými králi. Po požáru roku 1395 jej nechal Václav IV. přestavět. Současně založil výše na skalním hřbetu nový hrad Točník. Václav IV. tak vytvořil jedinečné české souhradí.