Romantické pozůstatky kdysi vysoké, pětiboké věže, která svého času plnila funkci předsunuté bašty hradu Kašperk, jsou spojeny s nejednou místní pověstí. Odrážejí snad tyto legendy těžký život obyvatel Pošumaví?
Chudý sedlák a dobrotivý skřítek
Traduje se zde například, že jeden chudý sedlák, který dlouho nemohl najít žádnou práci, uviděl jednou za soumraku u Pustého hrádku malého skřítka.
Skřítek si vyslechl příběh o sedlákově smutném osudu a následně mu poradil, aby odsunul největší balvan v místním lese, protože právě pod ním se skrývá veliký poklad. Sedlák však i přes veškeré své úsilí nedokázal s obrovským balvanem pohnout.
Nakonec tedy zklamaně odešel. Když to dobrý skřítek zjistil, začal kámen otesávat, aby byl příště pro sedláka lehčí. Sedlák však mezitím zemřel hlady a smutný skřítek tam prý údajně tento kámen otesává dodnes…
Čertovská truhla a strašlivý, černý pes
Touha chudých lidí z pohraničí po lepším životě se pak možná odráží rovněž i v pověsti o čertovské truhle s pokladem, která se má nacházet právě na Pustém hrádku.
Údajně ji prý hlídá obrovský, strašidelný, černý pes, který každého, kdo se chce tohoto pokladu zmocnit, zahání na útěk.
Zánik Pustého hrádku
V legendě o zániku Pustého hrádku se zase praví, že zde v té době pobývalo pět rytířů, kteří jen žili marnotratným životem. Často jen tak znuděně vyhlíželi z okna ven. Pod opevněním hrádku uviděli jednoho večera zápasil pět jelenů a pět srnců.
Jeden ze zápasících jelenů se svým parožím zaklesl do větví nedalekého, mohutného stromu – a nedokázal se už vyprostit. Rytíři seběhli dolů a nebohé, bezbranné zvíře pro zábavu zabili.
Jakmile však zvíře skonalo, vyskočil z něj ďábel – a rytíře, který jelenovi zasadil smrtelnou ránu, zasypal pekelnými uhlíky. Rytíř se následně proměnil v čerta a zmizel. Zbylí čtyři rytíři se vrátili na Pustý hrádek.
Následující noc však do jejich ložnice vrazil čert s kosou. Rytířům se najednou začala pod nohama propadat podlaha a netrvalo dlouho, než se celý Pustý hrádek propadl do země i se čtyřmi rytíři, které pohřbil pod vrstvou kamení…