Il complesso va ascritto a Sinodoro Agosti, persona facoltosa che a Osio abitava nella zona del "pascolo" in una Costruzione chiamata, appunto, "Giardino". Si trattava di una proprietà di almeno 14 pertiche di terra, cinta di muro, destinata in parte a vigna ed in parte all'arativo , con una zona riservata all'abitazione del padrone e un'altra per i contadini. Nel '700 l'edificio rurale venne ampliato in forma di palazzo nobile dagli Olmo. Tra il 1904 e il 1910 il Giardino fu sede della Colonia agricola per giovani di don Brizio Casciola, prete di idee molto avanzate per l'epoca, un sostenitore del quale era il famoso scrittore Antonio Fogazzaro il quale più volte venne in Osio in quegli anni. Da circa ottant'anni il complesso del Giardino è divenuto proprietà della famiglia Zanetti.