Auf dem Nürnberger Burghügel standen drei Burgen: Die Kaiserburg, die Burggrafenburg und die Hasenburg. Die Kaiserburg diente den deutschen Königen und Kaisern zum Aufenthalt, wenn sie sich in der Stadt aufhielten. Die Hasenburg war das Wohnhaus der Herren von Hase, die erblich den Torschutz der Kaiserburg verliehen bekommen hatten. Die Burggrafenburg war die Wohnung der Vögte, die für den Kaiser die Burg schützten, das Gebiet des sog. Nordgaues verwalteten und die Zehnten einzogen. Als die Stadt Nürnberg Reichsstadt geworden war, war dem Burggrafen ausdrücklich das Recht genommen, sich in innere Nürnberger Verhältnisse einzumischen. Trotzdem versuchten die Burggrafen immer wieder in der Stadt zu bestimmen. Die Nürnberger aber wehrten sich mit großer Ausdauer dagegen. So gab es zwischen den Nürnbergern und den Burggrafen immer wieder Streit. Als Kaiser Karl IV. den Burggrafen von Nürnberg, Friedrich V, seinen Schwiegersohn, gar zum Reichsfürsten ernannt hatte, da wurde der Stolz des Herren noch größer und die ganze Schar um ihn herum sah mit Spott und Verachtung auf die "Spiessbürger" und "Pfefferbälge" der Reichsstadt herunter. Die burggräflichen Knechte zogen oft nachts in die Straßen der Stadt hinunter und johlten und schrien, läuteten an den Glocken der Häuser, schlugen mit ihren Lanzen an die Haustore und trieben sonst noch allerlei Schabernack. Wenn der Rat der Stadt sich deswegen beim Burggrafen beklagte, dann wurde er abgewiesen und verhöhnt. Da wandten sich die Nürnberger schließlich an den Kaiser und erbaten die Erlaubnis, um die Burg des Grafen eine Mauer bauen zu dürfen, deren Tore in der Nacht versperrt wurden, damit die Knechte nicht mehr in die Stadt kommen und dort Unfug stiften könnten. Der Kaiser gab gegen gute Bezahlung die Erlaubnis. Als der Burggraf einmal für längere Zeit fortgeritten war, machte sich die ganze Bürgerschaft daran und baute innerhalb von 14 Tagen eine Mauer auf, die ganz eng um die Burggrafenburg herumlief. Das war im Jahr 1372. Als der Burggraf von seiner Reise zurückkam, fand er seine Wohnung und seinen Hof von dieser Mauer umgeben und die Tore verschlossen. Er mußte den Nürnberger Stadtwächter an dem Tor zu seiner Burg um Durchlaß bitten. Da war der Burggraf zornig. Er verlangte, dass die Nürnberger auf der Stelle die Mauer abrissen, und, als die sich auf den Kaiser beriefen, sagte er: "Kaiser hin, Kaiser her! Ich will die Mauer nicht leiden" Der Kaiser war sein Schwiegervater; aber Friedrich V., der zornige Burggraf, erreichte nichts bei ihm. Im Groll ritt er vom Kaiserhof und wollte einen Krieg anfangen. Der Kaiser aber wußte, dass die Nürnberger keinen Krieg führen wollten und machte ihnen einen Vorschlag zur Vermittlung. Die Nürnberger überlegten sich, dass ein Krieg ihnen großen Schaden tun würde und waren bereit, 5000 Gulden für die Mauer zu bezahlen. Sie versprachen auch, dass sie das Tor in Friedenszeiten abhängen wollen, damit der Burggraf mit seinem Gesinnte ungehindert jederzeit durchreiten könnte. Nur für den Kriegsfall und für anderen Unfrieden ließen sie sich ausdrücklich das Recht bestätigen das Tor wieder einzuhängen. Von da an gefiel es den Burggrafen nicht mehr auf der Nürnberger Höhe wo sie solange fürstlich gewohnt hatten. Sie zogen nach Kadolzburg, wo sie ungehindert aus ihrem Schloß aus- und einreiten konnten, wann sie wollten.