Большой любитель и знаток истории, Капнист не мог остаться равнодушным к варварскому уничтожению памятников древности, которое наблюдалось в Крыму повсеместно. Вернувшись из Тавриды, 20 декабря 1819 г. он обратился с докладной запиской к министру духовных дел и народного просвещения А. Н. Голицыну, где указывал на необходимость защиты древних памятников Крыма. В записке предлагалось принять меры “О недопущении впредь для казенных и частных строений истреблять в Тавриде остатки древних зданий и твердынь”. Капнист советовал отправить в Крым “нескольких ученых людей”, которые занялись бы изучением памятников старины.

Записку обсудили на конференции 26 января 1821 г. Академику Е. Е. Келлеру, побывавшему в Крыму еще в 1804 г., поручили подготовить план по сохранению памятников на полуострове. 21 мая 1821 г. Келлер выехал в Крым. Несколько позже к нему присоединился архитектор Е. Паскаль.

Капнисту в то время было 64 года, он часто болел и потому не мог принять участия в экспедиции. Вместо себя он отправил в Крым старшего сына Семена, поэта, писавшего стихи в “горацианском духе”. Семен больше полугода прожил в Судаке, отыскивая древности. Здесь он написал стихотворение “Вечер в Тавриде” по поводу разрушения памятников старины: