De naam Buitenzorg is "meegenomen" van het eiland Java in het voormalige Nederlands Oost-Indië door iemand die terugkwam naar Holland. Hij/zij bouwde in de vorige eeuw deze boerderij, die pas veel later - in 1965 - de huidige bestemming kreeg van stoeterij. Hier zijn paarden gefokt die later beroemdheden werden.