Сооружение каменной крепости было начато в 1224 году на месте городища древних эстонцев. Свой законченный облик и размер крепость обрела в начале 16 века, став одной из самых выдающихся на территории Эстонии и Латвии. В связи с войнами между Швецией, Польшей и Россией от мощного сооружения сегодня осталась только пара каменных стен.

Развалины крепости и окружающий ее парк стали местом отдыха для жителей Вильянди еще в начале прошлого столетия. В 1931 году через крепостной ров глубиной 13 метров был перекинут висячий мост, чтобы можно было пройти от центра города к замку. С развалин крепости открывается прекрасный вид на озеро Вильянди.