La plej frua akta mencio de la palaco okazis en la jaro 1154. Akto datita je 1158-01-01 de imperiestro Frederiko I (la Ruĝbarba) certigas interŝanĝan transiron de la kastelo al Henriko la Leono. Tiel la kastelo fariĝis posedaĵo de la Velfoj.
Herzberg kaj ĝia Kastelo, Kuprogravuraĵo de Matthäus Merian, 1654
Princo Georg von Calenberg, la prapatro de la ĉefprincoj kaj reĝoj de Hannover, ĉi tie rezidis ĝis 1636. Unu el liaj kvar filoj, Ernst August, estis la unua ĉefprinco de Hannover (1692) kaj patro de ĉefprinco Georg Ludwig, kiu en 1714 fariĝis reĝo Georgo I de Anglio.
Kastelo Herzberg lau pentraĵo de Ludwig Richter (ĉ. 1835 - 1880)
En 1866 Herzberg fariĝis prusa. En la Sieber-alo de la kastelo ekde 1882 troviĝas unuainstanca juĝejo.
La nuna kastelo estis rekonstruita laŭ renesanca stilo post detruiga bruligo en la jaro 1510.
Kastelo - interna korto
La kastelo estas kvar-ala konstruaĵo ĉirkau ortangula korto. En la korto speciale alloga estas la kastela turo pro artaj ornamaĵoj laŭ la stilo Weser-renesanco.