Der Landesherr und Erzbischof von Köln, Hermann V. von Wied, verfügte im Dezember 1519 die Errichtung des Werler Schlosses. Fertiggestellt wurde die Anlage bereits im Jahr 1522. Es handelte sich um eine große Festung, dessen Innenhof eine Fläche von 50 mal 50 Metern umfasste. Die Befestigungsmauern hatten eine Höhe von ca. 11 m ohne Zinnen und eine Stärke von ca. 4,70 m. Die vier Ecktürme ermöglichten eine optimale Verteidigung nach allen Seiten. Sie hatten Durchmesser von 12, 14 und 24 m. Der noch stehende Turm, dem die Zinnen fehlen, hatte eine Höhe von ca. 14 m über dem Grabenwasserspiegel. Die drei anderen Türme waren noch höher. Die gesamte Festung war von einem breiten Wassergraben umgeben. Der Eingang zur Burg lag ungefähr an der Ecke der heutigen Liebfrauen-/Schlossstraße.

Um eine Größenvorstellung zu vermitteln, seien noch ein paar Daten zur Information angefügt. 1586 retteten sich 300 Schwerbewaffnete mit beladenen Wagen ins Schloss, 1633 belagerten die Hessen mit einer Garnison von 100 Mann das Schloss und fanden darin 19 Kanonen und eine Menge Munition. 1656 musste das Schloss zusätzlich zur Besatzung mit Knechten, Mägden, Fuhrleuten und dem übrigen Verwaltungspersonal den Kurfürsten mit 204 Personen und 162 Pferden aufnehmen. Wenn man bedenkt, dass für den Fall einer Belagerung große Vorräte gelagert sein mussten, unterstreichen diese Informationen, dass das Schloss eine gewaltige Befestigungsanlage gewesen sein muss. Das Schloss diente den Erzbischöfen bis 1803 als Residenz während ihrer zahlreichen Besuche in Werl. Im Siebenjährigen Krieg (1756 bis 1763) nahm das Gebäude stärkeren Schaden. Die Beschädigungen wurden nicht repariert und so verfiel der Bau nach und nach. 1816 wurde der preußische Staat Eigentümer. Obwohl die preußische Regierung das alte Schloss erhalten wollte, begann man 1825 mit dem Abbruch der Ruine. Aus der heimischen Bevölkerung gab es publikumswirksamen Widerstand, da die historisch bedeutsamen Baureste des Schlosses verstärkt als günstiges Baumaterial genutzt wurden. So wurde mit einem Teil der Steine die Straße nach Hamm gepflastert. Bereits in Leserbriefen der damaligen Zeit wurde Protest gegen die Verwendung als „Steinbruch“ geäußert (… „ist es aber nicht ewig schade, diese herrlichen Steine dazu verdammen zu wollen?). In seiner 1891 publizierten „Geschichte der Stadt Werl“ lobte Franz-Josef Mehler den Einsatz der Abbruch-Kritiker: „Ein interessantes Denkmal war für die Stadt verloren – und welchen Vorteil gewannen sie dadurch? – Gar keinen.“ 1828 wurde das Gelände an einen Erbsälzer der Familie von Lilien verkauft, der den Wassergraben überbauen ließ und hier eine Brauerei einrichtete. Die Werler Ursulinen übernahmen die Ruine und den Burghof bei ihrer Ankunft in der Wallfahrtsstadt Werl im Jahr 1888. Der letzte noch erhaltene Turm der einst mächtigen Anlage präsentiert sich seit der Zerstörung im Siebenjährigen Krieg als Ruine.

Der heute als Rittersaal bezeichnete Raum befand sich ursprünglich im ersten Stock des Turms. Da im Laufe der Zeit im Außenbereich sieben Meter Erde angeschüttet wurden, ist er heute ebenerdig zugänglich. Von diesem Raum aus befehligte der jeweilige Burgherr seine Truppen. Der runde Raum hat einen Durchmesser von 8,70 m und eine Höhe von 6,60 m. Ein noch teilweise erhaltener Wehrgang befindet sich rechts vom Eingang. Im Saal steht auf der rechten Seite ein Kamin, der 1840 neu gefasst wurde. Die Wände sind rundum durch Schießscharten gegliedert. Durch einen Versorgungsschacht in der Mitte des Raumes bestand Verbindung zur Turmoberfläche, sodass die oben stehenden Soldaten mit Munition und Verpflegung versorgt werden konnten. Die heutigen Kellergewölbe waren früher das Erdgeschoss der Burg. Gleich hinter dem Eingang liegt direkt unter dem Rittersaal ein großer runder Raum mit einer Höhe von 3,80 m. Auch hier war ein Schacht zur Versorgung und Kommunikation. An diesen runden Raum schließen ca. 6 m hohe und 4 m breite Vorratshallen an. Von da gelangt man durch einen Mauerdurchbruch in den ehemaligen Wassergraben. Ein weiteres zum Schloss gehörendes und noch vorhandenes quadratisches Gewölbe war früher Teil des Palais, in dem der Fürstbischof bei seinen Besuchen residierte. Von diesem Raum gelangte man in die Burgkapelle. Der Raum war ursprünglich Erdgeschoss und ca. 6,50 m hoch. Eine mächtige Säule in der Mitte des Raumes trägt das Gewölbe. Ursprünglich war der Boden des Gewölbes noch etwa drei Meter tiefer. Die Treppe führt in den darunter liegenden Raum von dem aus ein Gang nach Osten abzweigt, der nach einigen Metern zugemauert ist.

Die Ruine des noch erhaltenen Wehrturmes liegt heute auf dem Schulgelände des Ursulinengymnasiums. Im Jahr 2012 musste der Zutritt zur bis dahin vorwiegend für schulische Veranstaltungen genutzten Anlage verboten werden. Es bestand, wie ein Ortstermin im Sommer 2012 zeigte, sowohl im Innern der Ruine als auch im Bereich der Außenmauern Gefahr durch herabstürzende Steine. Am 25.11.2013 wurde der Förderverein Kurfürstliche Schlossruine Werl e.V. gegründet mit dem Ziel, die baulichen Überreste zu sanieren, zu erhalten und dauerhaft sinnvoll zu nutzen. Die Schlossruine soll ins Bewusstsein der Öffentlichkeit gebracht und eine öffentliche (Teil-)Zugänglichkeit geschaffen werden. Seit dem Sommer 2015 ist der Rittersaal wieder zugänglich. Führungen durch die Schlossruine, auch im Rahmen von Stadtführungen, sind möglich. Weitere Informationen erhalten Sie auf der Internetseite Schlossruine-werl.de.