Die Geschichte dieses Hauses ist gleichzeitig auch ein Stück Silscheder Geschichte. Jasper Kalthoff, geboren 1609, ist Stammvater ganzer Generationen Silscheder Bewohner, und viele von ihnen wohnen auf Grund und Boden des Kaltenhofs, seit in den 1870er Jahren das alte Gut parzelliert wurde.

Erste Erwähnung finden ein Caldenhove und der Name Kalthoff bereits um 1291, allerdings lässt sich diese Fundstelle nicht zweifelsfrei dem Silscheder Kaltenhof zurechnen. Es gab nämlich weitere Kalthoff-Familien in näherem Umkreis, die wahrscheinlich nichts miteinander zu tun hatten: so lässt sich eine Linie bis 1735 nach Werdohl zurückverfolgen, eine andere nach Bochum-Hamme.

Eindeutig ist dagegen der Eintrag im Schatzbuch der Grafschaft Mark von 1486, das „Schulte tom Kaldenhove“ als einen von 15 Bauern in der „Sylsyker Burschop“ (Silscheder Bauernschaft) nennt.

Die nächsten Einträge stammen aus den Schatzzetteln der Jahre 1620, 1630 und 1645 zu allen freien (also nicht adlig gebundenen) Höfen. Danach waren die vom Kaltenhof zu zahlenden Steuern die weitaus höchsten aller Silscheder Höfe. Aus dem Dreißigjährigen Krieg war der Kaltenhof noch einigermaßen glimpflich davon gekommen und in relativ gutem Zustand. Er wurde als „Churf. Pfachtgut“ geführt. Zum Hof gehörten 20 Malderscheid Ackerland und 1 Morgen Weideland, und ein „eigenes Gehölze“, das Kalthöferholz, worin man „16 Schweine feist machen konnte“. An Vieh waren 1 Pferd, 1 Fohlen, 6 eigene Kühe, 1 geliehene Kuh, 2 Rinder, 3 Kälber und 7 Schweine vorhanden.

Jasper Kalthoff, der Pächter zu dieser Zeit, stand mit 400 Reichstalern (Rt.) in der Kreide; kein Wunder: schuldeten ihm doch die umliegenden Bauern ihrerseits 550 Rt., ohne Aussicht auf Rückzahlung.

Im „Kataster der kontribuablen Güter in der Grafschaft Mark“ wird unter der Nr. 6452 Kalthoff als weitaus größter Hof in Silschede genannt, 31 ½ Malterscheid groß und 85 Reichstaler Pacht wert.

1795 erhielt der Kartograph Diepenheuer den Auftrag, eine Karte des Kaltenhofs anzufertigen; auch die Nachbargrundstücke sind dargestellt. Am unteren Bildrand ist der Hof Gräfingholt eingezeichnet (Wittener Str. 300), Stammhaus der Kalthoff gnt. Gräfingholt.

Um diese Zeit hatte der Hof seine größte Ausdehnung: er umfasste mit ca. 300 ha das gesamte Gemeindegebiet südlich des Ellinghauser Wegs und der Asbecker Straße.

Die folgende Liste enthält die Stammfolge der jeweils auf dem Kaltenhof verbliebenen Mitglieder der Familie. Die meisten Ehepaare hatten zahlreiche weitere Kinder. Die komplette Darstellung aller Kalthoffs – soweit sie sich aus den Quellen erschließen lässt – findet sich im Ortsfamilienbuch Silschede.

Als sichtbares Zeichen ihrer Bedeutung bauten die Kalthoffs (6) ein neues Gutshaus, das noch heute steht. Eine Inschrift in der Stallmauer des Hofes nennt Baujahr und Erbauer: „Friedrich Wilhelm Kalthoff und Anna Maria Revelmann 1806“.

Ab 1808 gehörte Silschede zum Großherzogtum Berg, das wiederum Teil des Rheinbunds war. Nach dem Sturz Napoleons 1814 – so die Überlieferung – kaufte Kalthoff dem Staat das Gut ab. Einen Teil des Landes stiftete er der Gemeinde Silschede für den Bau der neuen Schule. Das meiste aber erbte sein Sohn, Friedr. Wilhelm Leopold Kalthoff, verheiratet mit Wilhelmina Bredt; er baute um 1830 das Herrenhaus auf der anderen Straßenseite. Leopold und Wilhelmina hatten keine männlichen Erben, und die Töchter zogen zu ihren Ehemännern Herrenhaus.

Der Gutshof wurde nun von Pächtern bewirtschaftet; u. a. war Christian Schindler um 1872 in dieser Funktion tätig. Das Gutshaus brannte 1870 durch Blitzschlag ab, aber die Töchter der Kalthoffs ließen das heutige Wohnhaus und einen Teil der Stallgebäude wieder aufbauen.

In den 1870er Jahren veräußerten die Töchter den Kaltenhof samt aller Kotten und Waldungen. Ein Teil des Geländes wurde kleinteilig parzelliert und an die Silscheder Bergleute verkauft, aber andere Teile blieben als Großgrundstücke erhalten:

1. Den größten Anteil erwarb der Schlossfabrikant August Schröder, der später seinerseits das Land teilweise weiter aufteilte und verkaufte (s. Kirchstr. 54).
2. Einen Anteil von 20 Morgen Land und 20 Morgen Wald kaufte Carl Flüs (s. Eichholzstr. 355).
3. Die Wiesen im Bachtal übernahm Herr Liebrecht, Besitzer des Gutes Sundern in Asbeck
4. Das heutige Gebiet Lichteiken/Deichselbach ging an Carl August Hölker.
5. Als letzten großen Anteil erwarb 1876 Heinrich Johann Große-Oetringhaus aus Dortmund-Brambauer das Gutshaus und 103 Morgen Land für 11.000 Taler; er und später sein Sohn Friedrich bauten den Hof weiter aus. 1896, 1917 und zuletzt 1950 wurden Teile der Wohn- und Stallgebäude durch Brände zerstört, konnten aber jeweils wieder aufgebaut werden. Die Familie betrieb bis zur Aufgabe der Landwirtschaft vor allem Milchviehhaltung und unterhielt einen Reitbetrieb. Nachdem sie in einen Neubau in der Nähe gezogen war, wurde das Gebäude von der Kinder-, Jugend- und Familienhilfe S.i.r.a.c.h genutzt.

Die folgende Übersicht enthält die einzelnen Teile des Kaltenhofs und seine Käufer. Die Liste basiert auf der Niederschrift von Fritz Große-Oetringhaus.