am 16. März 1018 Graf Otto und seine Gemahlin Irmgard auf der Synode zu Nymwegen, auf der beide nicht erschienen, wegen ihrer durch zu nahe Verwandtschaft ungesetzlichen Ehe excommuniziert wurden. Darauf erschien im Juni desselben Jahres Graf Otto auf der großen Fürstenversammlung zu Birgein bei Hanau gnadeflehend vor dem Kaiser Heinrich II. und dem Erzbischof Erkenbald von Mainz, wo er aber durch dreier Zeugen Eid seine unrechtmäßige Gemahlin verlor. Aus Rache wegen dieses harten Urteils befehdete Graf Otto den Erzbischof von Mainz, fiel ins Erzstift ein und verbrannte viele Dörfer. Heinrich II. bestrafte den Grafen Otto hierfür dadurch, daß er ein Gut zu Hönningen dem Hochstift zu Bamberg schenkte. Auch beriet der Kaiser im Januar 1020 mit den Bischöfen des Reiches wegen der Eheangelegenheit des Grafen Otto und beschickte ihn mit Friedens­boten. Aber Otto, von blinder Liebe zu Irmgard erfüllt, hörte auf keine Vorstellungen des Kaisers. Da sprach der Klerus wieder den Bann über den Grafen Otto aus, und der Kaiser rüstete ein Heer aus, um ihn in seiner Burg Hammerstein zu belagern. Graf Otto, der mit seiner Gemahlin Irmgard auf seiner stark bemannten Burg Hammerstein lange dem belagernden kaiserlichen Heere Widerstand geleistet hatte, mußte endlich, durch Hunger gezwungen, am Stephanstage, den 26. Dezember 1020, dem Kaiser die Burg übergeben. Der Kaiser versuchte dann, Otto wieder mit der Kirche zu versöhnen und zog mit ihm nach Cöln, wo Otto sich mit dem Erzbischof Piligrim, gegen den er wegen der abgeschlagenen Hülfeleistung erzürnt war, ebenfalls aussöhnte.

(Die durch die Belagerung schwer beschädigte Burg geriet in den folgenden Jahren in Verfall. König Heinrich IV. ließ sie aber als Reichs­feste wieder aufbauen und befestigen.)

Nach einer alten Tradition soll Graf Otto von Cöln aus weiter ins Bergische gezogen sein und bei dem Herzoge Schutz gesucht haben. Wahrscheinlicher ist jedoch, da Graf Otto in den nächsten Jahren wieder auf der Burg Hammerstein erscheint, die Vermutung des Pfarrers Hermes in seiner SchriftDie Neuerburg an der Wied und ihre ersten Besitzer":

Aus der Lage der Burgen und ihres Gebietes, da das Amt Neuerburg die östliche Fortsetzung des Hammersteiner Gebietes war und beide Burgen nur 2 Stunden voneinander entfernt sind, kann man mit großem Rechte schließen, daß Graf Otto die Neuerburg (Novum Castrum) in den stillen Bergen sich als Wohn­sitz erbaute, als die Burg am Rhein zerstört war, um hier endlich Ruhe vor seinen vielen Widersachern und von seinen Kriegsabenteuern zu finden. Die späteren Herren von Neuerburg waren dann Abkömm­linge seiner einzigen Schwester Gerburg, Gemahlin Heinrichs von Schweinfurt oder vielmehr ihres Sohnes Otto von Schweinfurt, da der einzige Sohn Udo des Grafen von Hammerstein im Jahre 1034, zwei Jahre vor dem Vater, starb." 92