Dieses Haus hieß bereits um 1810 das „Kaufmannshaus“; die Herkunft des Namens ist allerdings unklar, denn der Besitzer Caspar Heinrich Ilberg gnt. Kaufmann – so hießen auch seine Nachkommen – war mit einer Haumann verheiratet, und sein Vater mit einer Schmalenbeck. Allerdings heiratete sein Onkel Joh. Peter eine Kaufmann, deren Nachkommen aber hießen nur Ilberg (ohne Zusatz) und wohnten Auf der Ilberg 22, dem Stammhaus der Ilbergs.
Im Gebäude wurde spätestens ab 1821 eine Gaststätte betrieben. Sie bestand aus dem Schankraum sowie aus einem kleinen und einem großen Gesellschaftszimmer. Zeitweise (mindestens um 1913) war ein Hotelbetrieb mit 3 Zimmern zu je 2 Betten angegliedert. Von 1898 bis 1906 war hier die Kaiserliche Postagentur untergebracht; Leiter war Carl Ilberg (4). 1941 traf eine Brandbombe das Anwesen; ein Stall wurde zerstört und ein Zimmer ging in Flammen auf. Wegen seines reich gestalteten Fachwerks und seiner langen Tradition als Gaststätte ist das Haus seit 1986 teilweise denkmalgeschützt (Nr. 61 der Gevelsberger Denkmalliste).
Zum Kaufmannshaus gehörten lange Zeit auch zwei Miethäuser.
