In einem Protokoll von 1770 über die Rechte an der „Weniger Mark“, zu der auch Silschede gehörte, findet sich der Hinweis: „Ilberg hat ein altes Haus, welches 1552 bebaut und also über 200 Jahre gestanden.“ Auf einer Katasterkarte von 1824 ist zu sehen, dass ein Haus an der gleichen Stelle wie das heutige Gebäude gestanden hat, welches jetzt auch schon über 170 Jahre alt ist.

Wer 1552 in dem Haus gelebt hat, bleibt im Dunkeln; die Linie der Bewohner lässt sich nur bis zu Johannes Grundschöttel von der Ilburg (1) zurückverfolgen, der wohl um 1600 herum geboren wurde. Im 17. Jahrh. war der Hof ein stattliches Anwesen, denn er wurde in den „Schatzzetteln“ 1620-45 immer als zweitgrößter Silscheder Steuerzahler genannt, danach ließ die Ertragskraft langsam nach. Die Bedeutung des Hofes lässt sich auch daran erkennen, dass Engelberts Sohn Peter 1748 Kirchmeister in Wengern und Vorsteher der Silscheder Bauernschaft war.

Am 18.11.1806 wurde Joh. Peter Ilberg (7) Besitzer des Hofes, sein älterer Bruder Caspar Henrich zog ins Kaufmannshaus. Er hielt ihn bis etwa 1816, ein Jahr später wurde der Besitz versteigert und gehörte danach seiner Kusine Sibilla Margarete Ilberg (9) und ihrem Mann. Deren Kinder Friedrich Wilhelm und Friedrich Peter lebten noch bis ca. 1850 auf der Ilberg.

Um 1850 ging das Anwesen an die Familie Aufermann, die bereits Grundstücke in der Nachbarschaft hatte. Friedrich Peter Aufermann (1) war Bäcker und nutzte ein auf der gegenüberliegenden Stra-ßenseite befindliches Backhaus. Auch seine 7 Söhne – neben 3 Töchtern – erlernten allesamt den Bäckerberuf. Sohn Carl Ludwig blieb auf dem Hof und wurde Landwirt. Nach der Überlieferung seiner Nachfahren war er nicht sehr erfolgreich, denn als um 1895 der Fuhrunternehmer Friedrich Echterhoff (5) aus Dortmund in die Gegend kam (er war beim Bau der Bahnstrecke Witten-Gevelsberg tätig), fand er das Anwesen in einem schlechten Zustand vor. Er heiratete die Tochter Klara Aufermann und übernahm später den Hof. Das Hauptgebäude wurde 1925 durch einen Hühnerstall und etliche Jahre später durch einen weiteren Anbau ergänzt. Eine Zeit lang bestand auf dem Gelände ein Kohlenhandel.