De familie Milse is in de archieven terug te brengen tot 1237 bij een zekere Jan van Milse, schout van Mechelen. Zijn functie van ambtenaar lijkt er op te wijzen dat zijn familie al lang in Mechelen woonde. De familie Milse mag gerekend worden tot de eerste (groot)grondbezitters van Mechelen. In de loop van de 15e eeuw werd een groot deel van het domein, namelijk tussen de Groenstraat en het Conscienceplein, omgevormd tot oefenvelden voor de schuttersgilden. Op het einde van de 18e eeuw was het domein in handen van ene Maria Franciska Van der Elst. De laatste verbouwingen van 1779 zijn waarschijnlijk voltrokken tijdens haar periode. Tijdens ingrijpende schoolrenovaties in 1950 werd de fraaie arduinen toegangsdeur verplaatst naar het huidige leerlingensecretariaat; ook de datumsteen ‘1779’ en de arduinen omlijsting van de ‘Milsenpoort’ zijn bewaard gebleven. Naast de poortdoorgang werd in de jaren vijftig de schoolbel gehangen en ze hangt er nog steeds. Het einde van de 18e eeuw betekende een abrupt einde voor het landgoed: bij de Franse republikeinse overheersing in 1794 werd het domein geconfisqueerd. In 1795 wordt in de stadsarchieven al gesproken over ‘den wasblijk’: de grote tuinen van het Hof van Milse werden omgevormd tot grasvelden om was te drogen en te bleken.