1827. gadā grāfs Karls Magnus De la Gardie (Carl Magnus De la Gardie) nopirka uzbūvēto pili kopā ar parku, kas tika nosaukts par Grāfa dārzu. De la Gardie atbalstīja arī Hāpsalu pirmās dūņu dziedinātavas izveidošanu. Viņa pilī vasarā ieradās atpūsties daudzas Krievijas impērijas svarīgas personas, tostarp arī imperatora ģimene. Kopš Nikolaja I valdīšanas beigām līdz impērijas beigām vasarās Hāpsalu atpūtās un baudīja dūņu vannas visi Krievijas imperatori līdz Nikolajam II.
De la Gardie pils tika atjaunota, un no 2012. gada tā tiek izmantota kā Lēnes apriņķa slimnīcas aprūpes nams.