Das man die Reifferscheider heute noch bei ihren Nachbarn manchmal als Raubritter bezeichnet, liegt wahrscheinlich an einem der Herren von Reifferscheid, Johann V., der - noch minderjährig beim Tode des Vaters - unter Vormund-schaft seines Onkels Reinhard die Regierung antrat . Johann der V. unternahm zahlreiche Raubzüge und ließ dabei offenbar nichts aus.

Die Städte Köln und Aachen, der mächtige Herzog von Jülich, die Erzbischöfe von Köln und Lüttich sowie einige andere sahen sich daher genötigt, sich zu einer Strafaktion zusammen zu schließen und belagerten im Jahre 1385 ziemlich erfolglos die Burg. Offenbar hatte man sich auf der Burg sehr gut mit Vorräten eingedeckt, und den Belagerern ging es nach 3 Monaten schlechter als den Belagerten. Es war naß und kalt und die Söldner wollten nach Hause. Als man vom Burgfried schließlich noch spöttisch mit Proviant winkte, gaben die Belagerer völlig entnervt auf.