Резервную копию могут делать в какую угодно папку, там любые другие файлы могут быть - программа не может вот так решать что удалять, если она не "знает", ее ли это файл, без ведения реестра записей.Причем тут ведет или нет. Она может в момент создания копии посмотреть папку и удалить старую копию после создания новой.
Идея с подобным шаблоном тоже вариант, пригодится. Остальные варианты видимо придется через скрипты мудрить.