Die ungewöhnliche Anordnung der Häuser  ist eine Folge des  verheerenden Brandes von 1794. Dabei wurde der Ort und die Burg völlig zerstört. Während Waldeck wieder aufgebaut wurde, blieb die Burg als Ruine zurück.

Der Ort wurde jedoch an anderer Stelle, nämlich an der Nordseite des Burgberges, wieder aufgebaut - an einer Straße nahe der Wallfahrtskirche, die bereits 1730 vom Kemnather Landrichter Freiherr von Otten gestiftet worden war.
St. Nepomuk ist im Rokokostil reich mit  Deckengemälden ausgeschmückt.

Auf dem Basaltkegel des 641 m hohen Waldecker Schlossberges  befinden sich die restaurierten Reste einer Burg aus dem 12. Jhd. 
1124 nannte sich erstmals ein Zweig der Leuchtenberger nach ihr.

Im 30jährigen Krieg und im Spanischen Erbfolgekrieg wurde die Burg stark in Mitleidenschaft gezogen, aber immer wieder einigermaßen instand gesetzt. 
Den großen Brand vor gut 200 Jahren überstand sie nicht.

Die Reste der Ruine wurden aufwendig restauriert. Ja man könnte sogar den Eindruck gewinnen, als ob die Burg wieder neu errichtet werden soll, so engagiert wurde hier gemauert. Mit ernsthaftem Denkmalschutz hat das allerdings wenig zu tun. Abgesehen davon, der 360 ° Rundblick von der Burg ist unübertroffen. 
Der Schlossberg selbst ist vulkanischen Ursprungs und ist vor rund 24 Millionen Jahren entstanden.