Die Kölner Fabrikantenfamilie Farina, die im 19Jh. die Besitzer des Schloss Hagerhof waren, baute das Anwesen aus und legte den weitläufigen Park an.
Der nachfolgende Besitzer Franz Gustav Weyermann ließ dann ab 1865 das Herrenhaus im Stil der englischen Gotik umgestalten. Um 1900 war das Schloss Hagerhof ein beliebter kultureller Treffpunkt. Auch Johannes Brahms verbrachte hier 1896 einige Tage nach der Beerdigung Clara Schumanns und führte hier seine Vier Ernsten Gesänge erstmals auf.