Die Schlossanlage Diersfordt dokumentiert eine etwa 700 jährige Baugeschichte und stellt sich heute als ein Ensemble verschiedener Gebäude aus unterschiedlichen Bauepochen dar. Die ältesten bisher nachgewiesenen Mauerwerke datieren in das frühe 14. Jahrhundert. Wann die mittelalterliche Burganlage auf dem wasserreichen Areal der verlandeten ehemaligen Diersfordter Rheinschlinge letztlich erbaut wurde, ist nicht bekannt. Urkundlich wird das „Haus Dyrsvort“ erstmals 1334 im Zusammenhang mit einer Erbpachtangelegenheit erwähnt, die zwischen dem Kapitel der Kirche zu Xanten und dem Ritter Theodoricus de Heyssen, in dessen Besitz sich das Haus Dyrsvort befand, festgelegt wurde. Das Haus Diersfordt kam durch Heirat an Adolf von Wylich, der aus einer bedeutenden Weseler Familie stammte. 1401 wurde er mit „Dat Hues en dat Guet to der Dyersvoert“ durch den Grafen Dietrich von der Mark belehnt. Das damalige Aussehen des Hauses Diersfordt ist nicht überliefert. Die früheste bekannte Abbildung findet sich im Erbenbuch von 1612 und zeigt eine Burganlage, die aus Wohnburg mit insgesamt 3 Türmen, Kapelle, Wirtschaftsgebäuden und doppeltem Graben besteht.

Im 30 jährigen Krieg und in der Zeit der niederländischen Befreiungskriege wurde die Burg mehrere Male von den Spaniern geplündert und demoliert. Johann Hermann Freiherr von Wylich (1612 - 1680) beseitigte die Verwüstungen der Ländereien und Gräben, für die Herrichtung der Burg fehlte ihm die Zeit und das Geld. Sein Nachfahre Alexander Hermann Freiherr von Wylich (1685 - 1776) entwickelte eine rege Bautätigkeit. Er begann mit der Errichtung der neuen Schlosskirche und anderer, noch heute existierender Gebäude. Dessen Neffe, Christoph Alexander Freiherr von Wylich (1753 - 1831), der letzte von Wylich auf Diersfordt, setzte die Arbeiten des Onkels fort. Er vollendete die Schlosskirche und erneuerte um 1800 die alte Burg zu einer ländlichen Residenz im Stil des Spätbarock.

Unter den Grafen zu Stolberg-Wernigerode blieb das Schloss in der Form erhalten, bis es am 21.12.1928 einem Großbrand vollständig zum Opfer fiel. Bolko Graf zu Stolberg Wernigerode (1885 - 1956) erbaute auf dem Grundriss des alten Schlosses ein neues Schlossgebäude, dessen hohes Dach etwa dem des Porthauses entsprach. Die Einweihung fand am 19. August 1931 statt.

Während der Kämpfe um den Rheinübergang am 23./24. März 1945 wurde das Schloss in Brand geschossen, Hauptdach und Turmhaube zerstört. Nachdem sich der englische Kommandant des Kreises Rees hier einquartiert hatte, flickte man das Dach nur notdürftig und deckte es flacher ein. Nach einem Leerstand in der Nachkriegszeit renovierte Frau Dr. Riedel in den 70er und 80er Jahren das Schlossgebäude und richtete die „Rheinparkklinik“ ein.

Danach hatte das Gebäude erneut keine Nutzung bis es 1996/ 97 an die Familie Beichert verkauft wurde, die umfangreiche Renovierungsarbeiten durchführte. 2004/2005 erhielt das Schlossgebäude eine Dachkonstruktion, die sich an der Dachform nach dem Schlossbrand ab 1931 orientiert.