Kiltsi pils ir uzbūvēta uz 15.–16. gadsimta vasaļa pils drupām. H. J. fon Benkendorfa vadībā 1790. gadā tika uzcelta pašreizējā ēka.
19. gs. pils piederēja fon Krūzenšternu dzimtai. Ādama Johana fon Krūzenšterna vadībā notika pirmais Krievijas jūrnieku ceļojums apkārt pasaulei (1803.–1806.), uz kura pamata, tieši dzīvojot Kiltsi, viņš sastādīja Dienvidu jūru atlantu.

Vērtīgi zināt: muižu var izīrēt dzimšanas dienu un kāzu svinībām, apmācību un semināru organizēšanai, kā arī vasarā muižu varat apmeklēt projekta Unustatud Mõisad (Aizmirstās muižas) ietvaros.