Windows shadow copy file

Картинка с сайта: habr.com

Снятие снапшота — именно с этого начинается любой бекап. До тех пор, пока мы не знаем, как сбросить все буфера на диск и привести файлы с данными в консистентное состояние, мы не бекапы делаем, а занимаемся копированием файлов с непредсказуемым содержимым внутри. Понимая важность снапшотов, все вендоры стараются дать нам если не полностью готовую функцию (типа Time Mashine в MacOS), то хотя бы набор ручек, за которые можно подёргать (вроде модуля dm-snap в ядре Linux). 

Но сегодня речь пойдёт про самую распространённую ОС — Microsoft Windows, где эта задача решается с помощью Volume Shadow Copy сервиса, известного в народе под аббревиатурой VSS (Volume Snapshot Service). А нашего внимания он удостоился из-за того, что, несмотря на всю популярность своего материнского корабля, сам он окутан вуалью из тайн и мистических слухов. Давайте уже как-то разберёмся с этой штукой.

А, собственно, что с ним за проблема? Вот есть документация, где вполне адекватно и красиво описано, как всё работает. Есть утилита vssadmin, позволяющая вполне годно создавать и удалять снапшоты. Что не так-то, и где сложности?

Но проблема в том, что более лучшая документация, намного правильнее отражающая происходящие процессы, несколько сложна для понимания. Microsoft вообще написал по этой теме какое-то неслыханное количество документов. Но даже когда вам как-то удаётся выстроить в голове работу этого алгоритма, вы сразу сталкиваетесь с тем, что на практике многие вещи работают совершенно не так, как описаны. Или вообще не работают. А что-то не описано совсем, хотя этому мы уже давно не удивляемся. Но не хвататься же сразу за дебагер и дизассемблер, да?

Хотя упомянутый выше vssadmin как-то вроде и работает, и снапшоты даже делает, и вообще молодец. Но это всё до того момента, пока ты не начинаешь вникать в тонкости, где может выясниться, что репорт об успешно созданном снапшоте — это репорт о чём угодно, только не об успешно созданном снапшоте.

Вот поэтому и захотелось немного поговорить о том, как же на самом деле работает VSS. И да, строго говоря, результатом работы VSS является созданная shadow copy. Но дабы не ломать язык и не мучить вас транслитом, давайте просто писать снапшот.

Какова роль VSS

Не сомневаюсь, что 90% читающих прекрасно понимают, зачем нужны снапшоты, но ради оставшихся 10% потерпите несколько предложений. Или сразу идите в следующий раздел.

Итак, все кто остался, давайте представим, что есть у нас некий диск, на котором находятся файлы, с которыми кто-то работает и как-то их изменяет. Изменения эти накапливаются, а иногда очень хочется иметь возможность взять и вернуться во времени назад. И желательно откатывать изменения не для всего диска, а только для выбранных папок и файлов. Для этого и был придуман механизм теневых копий.

Сами снапшоты ничего не знают про ваши файлы и папки. Они работают на уровень ниже файловой системы — с блочными устройствами и блоками данных. Если придерживаться терминологи Microsoft, то снапшот — это место, именуемое Shadow Storage, куда записываются изменённые блоки данных и откуда их можно извлекать с целью переписать данные на оригинальном диске. Тут можно запомнить для себя два нюанса. Первый — только что сделанный спапшот занимает ровно ноль байт. Это просто пре-алоцированное место, куда файловая система может копировать измененные блоки (или наоборот, новые блоки, но не суть).  И второй — теневая копия суть есть дифференциальный бекап. Все данные, которые вы изменили, не удаляются, а отправляются на хранение в этой зоне.

Где найти VSS

Обнаружить следы VSS можно двумя классическими способами: через GUI или в консоли. В зависимости от конкретной версии системы пути могут немного отличаться, но суть будет одинакова. Итак, есть у меня в лабе Windows Server 2019, и если сделать ПКМ на любом диске в проводнике, мы увидим два пункта: Configure Shadow Copies и Restore previous versions.

Картинка с сайта: habr.com

Если зайти в мастер настроек, то можно включить создание теневых копий для любого диска, задать расписание, по которому они будут создаваться и, что самое интересное, указать место хранения этих копий. Строго говоря, даже не самих копий, а так называемой diff area — места, куда сбрасываются перезаписанные на оригинальном томе сектора. То есть мы запускаем создание снапшота одного диска, а его данные физически храним на другом. Функция архиполезная и позволяет не просто снижать нагрузку на конкретном диске, но и делать фокусы а-ля снимаем снапшот одной ноды в кластере и цепляем его к другой.

Картинка с сайта: habr.com

После того, как вы всё настроите на свой вкус, появляется смысл в пункте Restore previous versions. Чисто технически туда и до этого можно было зайти, однако внутри, скорее всего, будет только гнетущая пустота. 

Но всё это баловство с графическим интерфейсом, и как мы знаем, до добра это не доводит, поэтому открываем powershell (или даже cmd, почему нет) — и там у нас имеется два варианта из коробки: vssadmin и diskshadow. Первая утилита есть практически на любой системе, начиная с WinXP/Win2003. Нет её только на Windows 8. По какой-то таинственной причине из “восьмёрки” вырезали инструменты управления теневыми копиями, но потом осознали свою неправоту и вернули всё на место. А вот diskshadow доступен только на серверных вариантах Windows. Это уже более продвинутый вариант vssadmin, позволяющий работать не только в интерактивном режиме, но и выполнять целые скрипты, написанные на понятном этому интерпретатору языке. Да и просто это более адекватный и поддающийся контролю инструмент.

И запоминаем самое важное: это две разные утилиты, существующие в разных контекстах. Теневая копия, сделанная в одной утилите, будет видна другой, однако статус у неё будет неоперабельный.

Картинка с сайта: habr.com

Технически ничего не мешает одновременно делать снимки с помощью vssadmin и diskshadow. Хотя есть вероятность, что получите сообщение типа Another shadow copy is in progress. Но это так, к слову пришлось. Не надо пытаться одновременно делать несколько снапшотов разными программами.

Как появился VSS

Итак, судя по написанному выше, всё просто: нам надо просто брать появляющиеся блоки и сохранять их куда-то в сторонку, чтобы при необходимости вынимать обратно. Сразу возникает первый вопрос: а что именно надо сохранять в нашем теневом хранилище? Ведь действительно, можно просто писать в него все приходящие новые блоки и сохранять в метаданные, на какое место они (блоки) должны были быть записаны. А можно поступить чуть сложнее и записывать новые блоки сразу на полагающееся им место, а в хранилище отправлять содержимое перезаписываемых блоков. Что лучше и как выбрать? На самом деле право на жизнь имеют оба варианта, и какой выбрать — зависит исключительно от воли вендора. Первый подход (redirect-on-write, RoW, если оперировать грамотными терминами) быстро пишется, но долго читается. Зато если надо откатиться на первоначальное состояние, это делается моментально — мы просто удаляем наше теневое хранилище. Второй подход (copy-on-write, CoW) пишется медленней, читается быстрее и моментально удаляет копии предыдущих состояний. VSS, к слову, придерживается парадигмы CoW, а в снапшотах VMware реализован RoW.

Но на самом деле этот вопрос не самый важный из тех, которые стоит себе задать перед тем, как начать перехватывать появляющиеся блоки и складывать их в сторонке. Главный вопрос — в какой именно момент надо осуществлять перехват?

Давайте рассмотрим хрестоматийную ситуацию с файлом базы данных. (И если у вас уже заскрипел песок на зубах, смело пропускайте следующие два абзаца.) Итак: у нас есть банальная SQL Server база данных в виде mdf файла, и тут к нам прилетает какой-то запрос. SQL, как порядочное приложение, начинает старательно вносить изменения в файл, а мы старательно перехватываем каждый новый блок данных падающих на диск и пишем в нашу теневую копию. Всё хорошо и здорово, но тут выключили свет. Потом свет включили, сервер запустили и мы даже базу восстановили из нашей теневой копии, но тут оказывается, что SQL не запускается. Говорит — база в не консистентном состоянии. Это значит следующее: во время нормальной работы завершение каждой транзакции помечается специальным флагом. Сервер его видит и знает, что всё хорошо. А тут сервер загружается, видит, что из его базы торчит какой-то кусок данных, флага нет и, следовательно, что с этим всем делать — он понятия не имеет. То ли удалить, то ли дописать, то ли ещё что-то. Но у нас тут не угадайка, а всё должно быть однозначно и консистентно. Поэтому он принимает решение выключиться, дабы не поломать базу ещё сильнее.

Хорошо, но как избежать подобных приключений? Отличным вариантом будет подождать, пока SQL сервер допишет свою транзакцию, пометит её как завершённую, и потом мы быстренько заберём все появившиеся новые блоки. Отличный вариант, который надо срочно реализовывать! Вот только есть небольшая проблема: до этого мы говорили про одно приложение и один файл, с которым оно работает. Научиться общаться с условным SQL Server много ума не надо, но что делать с остальными миллиардами существующих приложений? А что делать, в конце концов, с самой ОС, у которой внутри огромное количество своих процессов и открытых файлов? Вот примерно с такими проблемами и столкнулись учёные мужи из Microsoft, когда пришли к выводу, что надо реализовать некий общий интерфейс, через который можно будет сразу всем прокричать нечто вроде: “Сейчас мы будем делать снапшот, так что быстренько сворачиваемся и сбрасываем буфера на диск! Приостанавливайте свою кипучую деятельность и приводите данные в консистентный вид!”. Ну а назвать эту штуку они решили, как вы уже догадались, Volume Snapshot Service. Или просто VSS.

И тут можно воскликнуть — но ведь в Windows 2008 был представлен Kernel Transaction Manager! Это разве не то же самое? Он же как раз занимается тем, что приводит файлы на диске в консистентное состояние. А вот и нет! То есть да, KTM приводит, но отвечает только за дисковые операции, а что там происходит с приложениями — его мало волнует. А ведь многим из этих приложений важна не просто целостность файлов, но и что в них записано. Классический пример — это Exchange и Active Directory. И тут мы подошли к важной теме:

Как устроен VSS

Чтобы не прыгать с места в карьер громады страшных терминов и процессов, начнём с высокоуровневого описания. Поэтому ограничимся таким списком компонентов:

• VSS Writer. В кириллическом простонародье известен как просто райтер, поэтому так и будем его называть в дальнейшем, вызывая праведный гнев ненавистников англицизмов. 

  Райтер занимается тем, что выстраивает мостик взаимодействия между VSS подсистемой и конкретным приложением. Поэтому а) в любой системе их будет достаточно много (проверьте у себя с помощью vssadmin list writers) б) райтер всегда пишется поставщиком приложения, ибо кроме него никто не знает, что там и как должно происходить во время создания снапшота. 

  Соответственно, райтер по своей сути выполняет роль “регулировщика”: сначала он говорит приложению подготовиться к снапшоту, затем даёт отмашку VSS сервису делать снапшот. Или не даёт, если приложение не смогло за установленный промежуток времени подготовить свои файлы.

  Также хочется отметить, что райтеры — это какие-то невероятно нежные ребята, которые зачастую ломаются без каких-либо внешних признаков. Поэтому если в выводе vssadmin list writers в поле State вы увидите что-то, отличающееся от Stable, это надо чинить, ибо сделать консистентный бекап, увы, не получится.

• VSS Provider. Тот самый парень, который занимается созданием и управлением снапшотами. Известен тем, что бывает софтовый или хардовый. Список установленных в системе провайдеров можно посмотреть с помощью команды vssadmin list providers. По дефолту, с системой идет Microsoft Software Shadow Copy provider. Он даже отлично и замечательно работает, но до тех пор, пока вы не подключите к системе брендовую СХД. Хорошие вендоры всегда снабжают свои железки управляющим софтом, в составе которого находится и родной провайдер к этой железяке. Благодаря этому можно уже делать всякие хитрые трюки, которые реализованы в вашем оборудовании, и именно поэтому мы в Veeam так гордимся списком интеграций с железом.

• VSS Requestor. Участник процесса, который инициирует создание VSS снапшота или восстановление данных. Можно сказать, что реквестор — это бекапное приложение, которое общается с райтерами и провайдерами. Может показаться, что его роль незначительна, однако от грамотности реализации реквестора зависит качество получаемого результата. То есть VSS не будет за вас думать, что и в каком виде надо сделать. Чем более чёткие инструкции выдаст реквестор, тем более предсказуемым будет результат.

Как в итоге всё выглядит на самом высоком уровне: реквестор стучится в Volume Shadow Copy сервис, тот отдаёт команду райтерам предупредить приложения о надвигающемся снапшоте, райтеры рапортуют об успехе, а сервис отдаёт команду провайдерам делать снапшоты. О результатах докладывается реквестору.

Но на деле, очевидно, всё несколько сложнее. На первом шаге реквестор проверяет, что вообще есть в наличии и с кем предстоит общаться. Затем после составления списка райтеров он обращается к провайдеру, объясняя, что он хочет заснапшотить и где должен располагаться снапшот. Это называется SnapshotSet. В большинстве случаев он будет располагаться на том же вольюме, что и оригинальный диск. А меньшинство случаев — это те самые хардварные провайдеры, которые поставляются вместе с СХД. Для них нормой считается создавать отдельный вольюм для снапшота, который называется storage snapshot. А в определённых случаях можно так и вообще перемещать снапшот на другое физическое устройство, чтобы выкачивать данные уже оттуда, а не с прода. Без хардварных провайдеров сделать такое не выйдет. 

Следом начинается стадия, именуемая Prepare for backup. На этом этапе мы должны уже не просто изучить метаданные райтеров, а запросить их реальные статусы и приготовиться к самой жаркой поре: все райтеры должы будут отработать один за другим. Причём каждый должен уложиться в отведённое ему время, которое по умолчанию равно 60 секундам. Так решили в Microsoft, забыв уточнить причины. Но есть ещё приложения-чемпионы, например, Exchange. Его авторы посчитали, что 20 секунд более чем достаточно, и остановились на таком лимите. А чем чревато невыполнение этого этапа, который в документации называется OnFreeze? Тем, что райтер вернёт сообщение об ошибке, и снапшот не будет сделан. После чего в интерфейсе Veeam появится одна из каноничных ошибок вроде “VSSControl: Failed to freeze guest, wait timeout». Тут радует одно: в логах VSS всегда будет написано, какой именно райтер завалил задание. А по самим ошибкам уже столько KB написано, что вспоминать страшно. Но если вы вдруг сомневаетесь, то точно вам говорю — написанному в них можно смело верить. И если после всего получается, что у вас слишком медленное хранилище, и за отведённое время не получается сбросить все кэши на диск, ну, значит, так оно и есть. Физику не обманешь, а вот железо надо хоть иногда обновлять.

Но это был пессимистичный вариант (прошу понять меня правильно, но беды с VSS — это очень частная причина обращений в сапорт), а в оптимистичном можно начинать самый важный этап. Как только райтеры рапортуют, что всё, вся деятельность в системе заморожена, а кеши сброшены на диск, у нас есть десять(!!!) секунд на создание снапшота, после чего райтеры будут принудительно разморожены, и всё закрутится вновь. И можно сказать, что на этом процесс бекапа заканчивается, и всё что нужно — это просто импортировать наш снапшот и скачать его куда-то к себе, чтобы сохранить под семью замками. Однако есть одно важное Но — log truncate. Фундаментально это вообще не связанные операции и транкейт зависит только от бекапа логов, но как все мы понимаем — на пользовательском уровне эти вещи связаны в единый процесс. То есть, прежде чем выкачивать снапшот, надо не забыть выдать команду backup log, которая запустит операцию транкейта. И после этого совесть наша чиста.

Но что дальше происходит с данными? Если мы действительно используем какое-то приложение для бекапов, которое запустило весь этот процесс, дождалось его завершения и скачало данные в своё хранилище, то снимок можно просто удалить одной командой. Поскольку VSS пропагандирует CoW подход, то речь здесь действительно о банальном удалении нашей аллоцированной зоны, ведь все новые данные сразу пишутся на оригинальный диск. Это называется non-persistent shadow copy, и она не имеет никакого смысла без оригинального диска.

Чтобы пройти этот путь вручную, достаточно открыть консоль и набрать:

PS C:\Windows\system32> diskshadow
Microsoft DiskShadow version 1.0
Copyright (C) 2013 Microsoft Corporation
On computer:  VEEAM,  17.05.2021 19:18:44

DISKSHADOW> add volume c: # добавляем в задание диск С

DISKSHADOW> create	# создаём снапшот
Alias VSS_SHADOW_1 for shadow ID {a1eef71e-247e-4580-99bc-ee62c42221d6} set as environment variable.
Alias VSS_SHADOW_SET for shadow set ID {cc9fab4d-3e7d-44a5-9a4d-0df11dd7219c} set as environment variable.

Querying all shadow copies with the shadow copy set ID {cc9fab4d-3e7d-44a5-9a4d-0df11dd7219c}

        * Shadow copy ID = {a1eef71e-247e-4580-99bc-ee62c42221d6}               %VSS_SHADOW_1%
                - Shadow copy set: {cc9fab4d-3e7d-44a5-9a4d-0df11dd7219c}       %VSS_SHADOW_SET%
                - Original count of shadow copies = 1
                - Original volume name: \\?\Volume{7fd0c79d-0000-0000-0000-602200000000}\ [C:\]
                - Creation time: 17.05.2021 19:19:45
                - Shadow copy device name: \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy2
                - Originating machine: veeam.university.veeam.local
                - Service machine: veeam.university.veeam.local
                - Not exposed
                - Provider ID: {b5946137-7b9f-4925-af80-51abd60b20d5}
                - Attributes:  Auto_Release Differential

Number of shadow copies listed: 1

Здесь мы видим, что успешно создался снапшот со своим Shadow copy ID, и для удобства ему сразу присвоили алиас VSS_SHADOW_1. Этими данными вполне можно оперировать, если возникает такое желание. Однако не будем уходить в сторону и попробуем прочитать содержимое этого снимка. Для чего подмонтируем его в качестве диска.

DISKSHADOW> expose {a1eef71e-247e-4580-99bc-ee62c42221d6} Z:
The shadow copy is a non-persistent shadow copy. Only persistent shadow copies can be exposed.

Однако на такое, казалось бы, простое и законное желание мы получили не менее законный отлуп, ибо сделали non-persistent снимок, а, значит, единственное, на что он годится — это записать его поверх родного, удалив на нём всю информацию, которая появилась после создания этого снимка. Но такая история нас не устраивает, поэтому стираем всё безжалостно.

DISKSHADOW> delete shadows all # или только нужный ID
Deleting shadow copy {a1eef71e-247e-4580-99bc-ee62c42221d6} on volume \\?\Volume{7fd0c79d-0000-0000-0000-602200000000}\ from provider {b5946137-7b9f-4925-af80-51abd60b20d5} [Attributes: 0x00420000]...

Number of shadow copies deleted: 1

И начинаем всё заново, только теперь укажем, что нам нужна персистентная копия, чтобы мы могли использовать её как полноценный диск.

DISKSHADOW> add volume C:

DISKSHADOW> set context persistent # вот этот момент

DISKSHADOW> create
Alias VSS_SHADOW_1 for shadow ID {346d896b-8722-4c01-bf01-0f38b9abe20a} set as environment variable.
Alias VSS_SHADOW_SET for shadow set ID {785983be-e09d-4d2a-b8b7-a4f722899896} set as environment variable.

Querying all shadow copies with the shadow copy set ID {785983be-e09d-4d2a-b8b7-a4f722899896}

        * Shadow copy ID = {346d896b-8722-4c01-bf01-0f38b9abe20a}               %VSS_SHADOW_1%
                - Shadow copy set: {785983be-e09d-4d2a-b8b7-a4f722899896}       %VSS_SHADOW_SET%
                - Original count of shadow copies = 1
                - Original volume name: \\?\Volume{7fd0c79d-0000-0000-0000-602200000000}\ [C:\]
                - Creation time: 17.05.2021 19:38:45
                - Shadow copy device name: \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy3
                - Originating machine: veeam.university.veeam.local
                - Service machine: veeam.university.veeam.local
                - Not exposed
                - Provider ID: {b5946137-7b9f-4925-af80-51abd60b20d5}
                - Attributes:  No_Auto_Release Persistent Differential

Number of shadow copies listed: 1

Как мы видим: Attributes:  No_Auto_Release Persistent Differential. Поэтому если теперь вы сделаете expose, то снапшот примаунтится как полноценный диск, по которому можно перемещаться и копировать с него файлы. Диск, само собой, виртуальный и состоит из блоков оригинального диска, плюс блоки изменившихся данных, читая которые, мы можем видеть состояние оригинального диска на момент снапшота. Всё просто.

Только учтите, пожалуйста, такой момент, если вдруг решите, что нашли святой грааль: в таком режиме нельзя занимать данными больше 50% места на диске. Один блок свыше — и всё, диск переполнился.

Что тут хочется ещё сказать, а вернее, спросить: если всё так просто, то почему же я говорю, что всё так сложно? Проблема в том, что, отдавая на боевом сервере команду vssadmin create shadow, мы, конечно, создаём какой-то снимок, но как себя будут чувствовать приложения после отката на этот снимок, мы предсказать не можем. Это не шутка: команда create признаёт наличие ошибок при выполнении как вариант нормы. Райтер не вернул вовремя Ок от приложения? Да кому это надо, го делать снапшот, я создал. 

Поэтому когда за дело берётся настоящее бекапное приложение вроде Veeam Backup & Replication, то речь идёт не об одной команде, а о целой россыпи предварительных запросов, в результате которых формируется огромнейшая команда (это не метафора для красного словца, а реальность), в которой учитываются состояния райтеров и приложений на целевой системе, с жестким требованием соответствия всех статусов необходимым. Словом, количество мест, где что-то может пойти не так, вырастает на порядок. Ведь нам главное — не снапшот создать, закрыв глаза на сопутствующие потери, а гарантировать консистентность данных внутри него.

Как лечить VSS

Сразу, не отходя от кассы, открою вам тайну самого лучшего метода лечения большинства проблем с VSS — перезагрузка. Понимаю, что это кощунство и кошмар наяву для всех свидетелей аптайма, но суровая правда жизни такова, то можно сколь угодно долго биться с пациентом, чтобы потом всё починилось само от перезагрузки. Да, именно так. Это тот случай, когда само сломалось и само починилось. 

Другая проблема — это железо. Помните про временные рамки для райтеров? Про десять секунд на снапшот? Для многих это ограничение становится проблемой из-за того, что СХД физически не успевает сделать требуемые действия за отведённое время. Как это лечится? А вот никак. Или покупаем более мощное железо, или ищем пути снижения нагрузки, чтобы операция была проведена за выделенный промежуток времени.

Если посмотрите одно из самых популярных KB1680: VSS Timeout when backing up Exchange VM, то легко обнаружите, что первые три шага для решения всех проблем с VSS — сделайте снапшот вручную и посмотрите чтобы это заняло менее 20 секунд, перезагрузитесь и попробуйте снизить нагрузку. Вот так и живём, да. 

И что же делать, если VSS падает, в ивентах ничего нет, а понять, что происходит надо? Тут я могу порекомендовать три хороших статьи:

• КВ от Veeam, посвящённое анализу поведения VSS с помощью diskshadow.

• Другое KB от Veeam, посвящённое сбору информации с помощью vsstrace из Windows SDK. Но скажу сразу, это уже не для слабых духом.

• И видео от моего коллеги, где он наглядно показывает, как работать с информацией из первых двух пунктов =) Рассказывает он действительно хорошо, но с непривычки голова у вас от объёма информации заболит, это я вам обещаю.

Также в гугле можно найти массу толковых советов по поводу приведения VSS в чувства, только рекомендую не бросаться на первый попавшийся случай, а постараться найти наиболее похожий именно на вашу проблему. По коду ошибки, например. Потому что слишком много возможных комбинаций ошибок, приложений и причин их возникновения.

А на сегодня всё. Я и так хотел кратенько, но получилось больше десяти страниц текста. Поэтому самое время закругляться. Если хочется раскрытия какой-то другой темы или углубиться в детали VSS, то обязательно пишите об этом в комментариях.

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку

Shadow copies are a practical solution for quickly recovering previous versions of files without significant downtime. They are particularly beneficial in enterprise IT environments, where data integrity and availability are crucial, and downtime for backups can be disruptive.

Windows Shadow Copy is a simple tool you can use to set up, manage, and configure your shadow copies using Volume Shadow Copy Service (VSS). This blog explains how to use this feature, manage your storage space, and execute advanced configurations.

Shadow copies and terminology explained

Let’s look at some of the basic terminology and concepts you’ll want to understand before jumping into Windows Shadow Copy.

What is a shadow copy?

A shadow copy is a snapshot of your data at a specific moment in time. Imagine you’re working on a document and you want to revert to a version from two hours ago because of a mistake or a change in direction. Creating a shadow copy enables you to do that without losing any work. It’s a safety net that captures and preserves the state of your files at various points so you can access previous versions easily.

What is the difference between shadow copy and backup?

While both shadow copies and backups aim to protect your data, they operate differently. A backup is a comprehensive archive of your data stored in a separate location, which can be used for recovery in case of significant data loss.

Shadow copies, on the other hand, allow for quick recovery of files to earlier versions without the need to restore from a backup. Essentially, backups are your long-term safety net, while shadow copies provide short-term, convenient snapshots.

What is VSS?

Volume Shadow Copy Service (VSS) is a technology that Windows uses to create shadow copies. It’s what allows your system to take these snapshots of your files or even entire volumes of data without interrupting your work. VSS is especially useful in environments where your files are constantly being accessed and changed, as it ensures that backups can be performed without closing files or taking systems offline.

Setting up Windows Shadow Copy

Windows Shadow Copy is a feature included in the Microsoft Windows operating system that allows you to easily create shadow copies even while your files are in use — enabling quick rollbacks to earlier states without the downtime associated with traditional backups. The service monitors changes to files on a volume and automatically creates copies of these files in a shadow copy storage area.

There are a few steps you must follow to enable shadow copies and get Windows Shadow Copy up and running on your device:

1. Right-click on ”This PC” on your desktop or in File Explorer, then select ”Properties.”
2. Click on ”System protection” on the left sidebar.
3. In the “System Properties” window, under the “System Protection” tab, you’ll see a list of drives. Select the drive where Windows is installed (usually C:) and click “Configure.”
4. In the next window, select ”Turn on system protection.”
5. Adjust the “Max Usage” slider to allocate disk space for shadow copies.
6. Click ”Apply” then ”OK.”

You’ve now enabled Shadow Copy, setting up a crucial safeguard for your data.

Disabling Shadow Copy in Windows

If you need to turn off Shadow Copy, perhaps to free up disk space temporarily, follow these steps:

1. Right-click on ”This PC”, choose ”Properties”, then “System protection.”
2. Select the ‘System Protection’ tab, choose your Windows drive and click “Configure.”
3. Select ”Disable system protection.”
4. Click ”Apply” and then “OK.”

Remember, this action stops the creation of new shadow copies and might delete existing ones, so use it judiciously.

Managing Windows Shadow Copy storage space

Given the convenience of shadow copies, it’s easy to overlook the disk space they consume. Over time, as snapshots accumulate, they can significantly eat into your storage capacity, which might be a concern, especially on drives with limited space.

Here’s how to manage it without compromising overall system performance:

1. Right-click “This PC,” select “Properties” then “System protection”.
2. Under the “System Protection” tab, choose your drive and click “Configure.”
3. Use the slider under “Max Usage” to set a limit on the space shadow copies can use.
4. After adjusting, click “Apply” and “OK”.

Advanced Windows Shadow Copy options

Beyond the basics, Windows Shadow Copy offers a suite of advanced options for those needing finer control over how snapshots are managed. Here’s how to access and adjust them:

Adjusting advanced options via Group Policy Editor

1. Press Windows + R, type gpedit.msc, and press “Enter.”
2. Navigate to Computer Configuration > Administrative Templates > System > System Restore.
3. Adjust settings like the creation frequency and storage locations of shadow copies.
4. Make your changes, then apply them.

Adjusting advanced options via Command Line tools

1. Open Command Prompt as an administrator.
2. Use vssadmin to adjust shadow copy settings directly.
3. For example, vssadmin list shadows shows existing shadow copies, while vssadmin resize shadowstorage can change storage allocation.

Advanced configurations and troubleshooting

Even with a well-configured Shadow Copy setup, issues can arise. For troubleshooting or further customizations, these steps can help:

Use Event Viewer

The Event Viewer provides logs that can help identify and resolve issues with Shadow Copy, offering insights into failed snapshot attempts and other anomalies.

1. Press Windows + R, type eventvwr.msc and press “Enter.”
2. Look under Windows Logs > Application for VSS or System Restore-related messages that can guide troubleshooting.

Leverage vssadmin for diagnostics

This tool can diagnose problems, offering commands to list, create and delete snapshots, giving you hands-on control over troubleshooting processes.

1. Open Command Prompt as an administrator.
2. Commands like vssadmin list writers and vssadmin list providers can help identify and solve issues with shadow copies.

Restoring data from a Windows shadow copy

Restoring your data using Windows Shadow Copy is straightforward and allows you to retrieve previous versions of files or folders directly from within Windows. Here’s how you can do it:

1. Navigate to the file or folder where you want to restore a previous version.
2. Right-click on the file or folder and select “Properties” from the context menu. This will open the Properties dialog for the selected item.
3. In the Properties dialog, look for a tab labeled “Previous Versions.” Click on this tab to view a list of available shadow copies and previous versions of the file or folder.
4. The “Previous Versions” tab will display a list of available versions, along with the dates and times they were created.
5. Browse through this list and identify the version you wish to restore. If you’re not sure which version is the right one, you can select a version and click “Open” to view its contents without affecting your current version.

Once you’ve identified the correct version, you have a couple of options:

Restore: To replace the current version of the file or folder with the selected previous version, click “Restore.” Be cautious with this option, as it will overwrite the current version.

Copy: If you prefer not to overwrite the current version, you can click “Copy” to copy the selected version to another location on your system. You can then access both versions of the file or folder.

After selecting “Restore” or “Copy,” follow any additional prompts to complete the process. If you restored the item, check to ensure that the previous version now exists where the current version used to be. If you chose to copy your previous version, navigate to the location where you saved the copy to access it.

[in-context

Monitoring shadow copies

Did you know you can create automated alerts that will monitor your shadow copies or Volume Shadow Copy Service (VSS)? This can help you mitigate the potential risks associated with insufficient backup points. Just follow this PowerShell script to learn how.

• Can you create a shadow copy manually?

Windows automatically creates shadow copies based on your system configurations. Meanwhile, it’s also possible to trigger the creation of shadow copy manually using the vssadmin command-line tool. However, this may require advanced technical knowledge to perform, so caution is needed.

• How to delete old shadow copies to free up disk space?

There are tools that you can use to delete old shadow copies, such as the Disk Cleanup tool and the vssadmin command-line tool. However, be cautious when deleting shadow copies, as you may lose the ability to restore previous versions of your files.

• Can shadow copies recover deleted files?

While shadow copies can help restore previous versions of existing files, they typically don’t capture deleted files. You may need to use data recovery software or explore other methods to recover deleted files. In some cases, you may be able to use shadow copies to recover data from a failed hard drive, but it’s not guaranteed. You may need specialized data recovery services if the hard drive is physically damaged.

• What is the impact of shadow copies on system performance?

Creating and storing shadow copies can consume minimal system resources, especially disk space and CPU cycles. To minimize any performance impact, you can adjust the shadow copy storage settings to limit the amount of disk space used.

• Is it safe to delete shadow copies?

Yes, it is safe to delete shadow copies if you no longer need them. Deleting shadow copies will free up disk space but also remove the ability to restore previous versions of files from those copies. However, as a precaution, always utilize an efficient backup and restore platform.

Служба теневого копирования — встроенная в Windows опция, позволяющая в автоматическом режиме копировать файлы, с которыми на текущий момент времени ведется работа. Это позволяет восстанавливать их предыдущие версии при необходимости. Однако изначально этот параметр отключен и пользователю придется вручную не только активировать его, но и каждый раз создавать новые копии, чтобы всегда иметь доступ к актуальным резервным копиям. Сегодня мы продемонстрируем два метода реализации этой задачи, а в качестве третьего рассмотрим автоматизацию копирования.

Способ 1: Меню Свойства системы

Способ с использованием графического меню не самый простой, поскольку придется переходить в разные окна и искать соответствующие пункты. Если вы желаете ускорить процесс создания теневой копии и не боитесь использовать для этого командную строку, сразу переходите к следующей инструкции, однако учитывайте, что отведенное под резервные копии пространство при этом будет выбрано автоматически. Ручная настройка позволяет гибко задать подходящие значения, что осуществляется так:

1. Откройте «Пуск» и перейдите в «Параметры», кликнув по специальной кнопке в виде шестеренки.


Картинка с сайта: lumpics.ru

2. В появившемся меню выберите первый же раздел под названием «Система».


Картинка с сайта: lumpics.ru

3. Через левую панель переместитесь к категории «О системе».


Картинка с сайта: lumpics.ru

4. Опуститесь вниз, где отыщите строку «Сведения о системе».


Картинка с сайта: lumpics.ru

5. Произойдет переход в раздел «Система», который находится в Панели управления. Здесь вас интересует надпись «Защита системы».


Картинка с сайта: lumpics.ru

6. В окне свойств выберите логический том диска, с которым хотите работать, и перейдите в «Настроить».


Картинка с сайта: lumpics.ru

7. Отметьте маркером пункт «Включить защиту системы» и задайте максимальное пространство, которое может быть выделено под резервные копии. Объем информации выбирается пользователем самостоятельно, отталкиваясь от личных предпочтений и имеющихся носителей.


Картинка с сайта: lumpics.ru

8. После применения изменений вернитесь в предыдущее меню, где нажмите по кнопке «Создать».


Картинка с сайта: lumpics.ru

9. Введите название точки восстановления и подтвердите создание.


Картинка с сайта: lumpics.ru

10. Ожидайте завершения процесса. Он займет буквально несколько минут, что напрямую зависит от объема информации на диске.
11. Вы получите уведомление об успешном создании точки восстановления.


Картинка с сайта: lumpics.ru

12. Для проверки измените какой-либо файл, находящийся на выбранном диске, а затем щелкните по нему ПКМ и выберите пункт «Свойства».


Картинка с сайта: lumpics.ru

13. Переключитесь на вкладку «Предыдущие версии».


Картинка с сайта: lumpics.ru

14. Теперь вы видите, что здесь находится старая версия файла, которую можно при желании восстановить.


Картинка с сайта: lumpics.ru

Как вы уже поняли, прошлая версия файла будет создаваться только после внесения изменений, что и характеризует технологию теневого копирования. Уточним, что при выполнении предыдущих действий вы создали только одну точку восстановления, от которой и нужно будет отталкиваться при необходимости вернуть объекты. Мы же советуем регулярно создавать новые записи так, как это было показано выше, чтобы поддерживать операционную систему в актуальном состоянии и случайно не потерять важные объекты.

Способ 2: Командная строка

Более простой вариант создания резервной теневой копии выбранного носителя — использование консольной команды. Однако в этом случае у вас не будет возможности самостоятельно выбрать отведенное под предшествующие версии файлов дисковое пространство. Если вас устраивает такое положение вещей, выполните следующие действия:

1. Запустите Командную строку от имени администратора любым удобным образом, например, отыскав само приложение через поиск в меню «Пуск».


Картинка с сайта: lumpics.ru

2. Введите там команду wmic shadowcopy call create Volume=D:\ и нажмите на Enter. Литеру D замените на метку тома, для которого создается копия.


Картинка с сайта: lumpics.ru

3. Начнется выполнение операции, о чем уведомит соответствующее консольное сообщение.


Картинка с сайта: lumpics.ru

4. В конце вы получите строку с выводом «Метод успешно вызван».


Картинка с сайта: lumpics.ru

5. Переходите к свойствам диска и на вкладке «Предыдущие версии» просмотрите, создалась ли новая версия директории.


Картинка с сайта: lumpics.ru

При необходимости повторного создания теневой копии вызовите эту же команду и дождитесь завершения операции. Не забывайте менять буквы дисков, если этот процесс производится для разных логических разделов.

Способ 3: Автоматизация теневого копирования

В начале статьи мы обещали, что расскажем о методе автоматизации теневого копирования. Делается это путем добавления новой задачи через «Планировщик заданий». Тогда в определенный период времени будет вызываться рассмотренная выше команда и выполняться создание новой точки восстановления.

1. Откройте «Пуск» и через поиск отыщите приложение «Панель управления».


Картинка с сайта: lumpics.ru

2. Там выберите раздел «Администрирование».


Картинка с сайта: lumpics.ru

3. Запустите модуль «Планировщик заданий».


Картинка с сайта: lumpics.ru

4. В блоке «Действия», который находится справа, нажмите по строке «Создать простую задачу».


Картинка с сайта: lumpics.ru

5. Введите произвольное имя, чтобы отличить эту задачу от других в списке, а затем переходите к следующему шагу.


Картинка с сайта: lumpics.ru

6. Установите триггер для запуска задачи, поставив маркер возле подходящего пункта. Например, можно выполнять новое теневое копирование каждый день или только один раз в неделю.


Картинка с сайта: lumpics.ru

7. После этого задайте промежуток для задачи и установите повторение, если это требуется.


Картинка с сайта: lumpics.ru

8. В качестве действия отметьте «Запустить программу».


Картинка с сайта: lumpics.ru

9. В поле «Программа или сценарий» введите wmic, а для «Добавить аргументы (необязательно)» присвойте shadowcopy call create Volume=c:\, заменив букву диска на нужную.


Картинка с сайта: lumpics.ru

10. При завершающем этапе отметьте галочкой пункт «Открыть окно «Свойства» для этой задачи после нажатия кнопки «Готово»».


Картинка с сайта: lumpics.ru

11. После открытия свойств назначьте статус «Выполнить с наивысшими правами» и завершите работу над заданием.


Картинка с сайта: lumpics.ru

Теперь вы можете быть уверены в том, что задача выполнится в назначенный период времени и теневые копии файлов автоматически обновятся. В окне просмотра предыдущих версий можно удалить все точки восстановления. Учитывайте это и периодически осуществляйте данную задачу, чтобы не копить на компьютере ненужные файлы.

Это была вся информация о теневом копировании в Windows 10, которую мы хотели представить в сегодняшнем руководстве. Если вас интересует тема прямого резервного копирования операционной системы, ознакомьтесь с соответствующими сторонними тематическими программами и штатными средствами в статье по ссылке далее.

Подробнее: Инструкция по созданию резервной копии Windows 10

Наша группа в TelegramПолезные советы и помощь

Опубликовано: 12.09.2016

Что такое теневые копии простыми словами.

Открываем консоль Управление дисками

Для этого кликаем правой кнопкой по Пуск и выбираем пункт Управление дисками:

В более ранних версиях Windows нажимаем Пуск — Администрирование — Управление компьютером:

Картинка с сайта: www.dmosk.ru

В открывшемся окне раскрываем Запоминающие устройства — Управление дисками:

Включаем теневые копии

В списке дисков находим нужный и кликаем по нему правой кнопкой мыши. Выбираем Свойства.

Картинка с сайта: www.dmosk.ru

В появившемся окне переходим на вкладку Теневые копии и нажимаем кнопку Включить:

Если появится предупреждение, прочитайте его и нажмите Да. Пройдет несколько секунд и появится первая теневая копия.

Настраиваем расписание теневых копий

В этом же окне нажимаем Параметры:

В открывшемся окне кликаем по Расписание:

Составляем новое расписание или оставляем имеющееся:

Нажимаем OK 3 раза.

Как пользоваться созданными копиями

Теневые копии создаются только для измененных файлов и по заданному расписанию.

Чтобы восстановить предыдущую версию файла, кликаем по нему правой кнопкой мыши и выбираем Свойства. В открывшемся окне переходим на вкладку Предыдущие версии и находим список всех версий файла:

* если список окажется пустым, значит либо файл не менялся с момента создания, либо еще не отрабатывало задание по созданию теневой копии.

Чтобы восстановить старую версию файла, перетащите файл из списка на рабочий стол, проверьте его корректность и замените основной файл на восстановленный или задайте ему новое имя.

From Wikipedia, the free encyclopedia

Shadow Copy

Shadow Copy (also known as Volume Snapshot Service,^[1] Volume Shadow Copy Service^[2] or VSS^[2]) is a technology included in Microsoft Windows that can create backup copies or snapshots of computer files or volumes, even when they are in use. It is implemented as a Windows service called the Volume Shadow Copy service. A software VSS provider service is also included as part of Windows to be used by Windows applications. Shadow Copy technology requires either the Windows NTFS or ReFS filesystems in order to create and store shadow copies. Shadow Copies can be created on local and external (removable or network) volumes by any Windows component that uses this technology, such as when creating a scheduled Windows Backup or automatic System Restore point.

VSS operates at the block level of volumes.

A snapshot is a read-only point-in-time copy of the volume. Snapshots allow the creation of consistent backups of a volume, ensuring that the contents do not change and are not locked while the backup is being made.

The core component of shadow copy is the Volume Shadow Copy service, which initiates and oversees the snapshot creation process. The components that perform all the necessary data transfer are called providers. While Windows comes with a default System Provider, software and hardware vendors can create their own software or hardware providers and register them with Volume Shadow Copy service. Each provider has a maximum of 10 seconds’ time to complete the snapshot generation.^[3]

Other components that are involved in the snapshot creation process are writers. The aim of Shadow Copy is to create consistent reliable snapshots. But sometimes, this cannot simply be achieved by completing all pending file change operations. Sometimes, it is necessary to complete a series of inter-related changes to several related files. For example, when a database application transfers a piece of data from one file to another, it needs to delete it from the source file and create it in the destination file. Hence, a snapshot must not be between the first deletion and the subsequent creation, or else it is worthless; it must either be before the deletion or after the creation. Enforcing this semantic consistency is the duty of writers. Each writer is application-specific and has 60 seconds to establish a backup-safe state before providers start snapshot creation. If the Volume Shadow Copy service does not receive acknowledgement of success from the corresponding writers within this time-frame, it fails the operation.^[3]

By default, snapshots are temporary; they do not survive a reboot. The ability to create persistent snapshots was added in Windows Server 2003 onward. Windows 8 removed the GUI portion necessary to browse them, but it was restored in later Windows versions. (§ History)

Windows software and services that support VSS include Windows Failover Cluster,^[4] Windows Server Backup,^[5] Hyper-V,^[6] Virtual Server,^[7] Active Directory,^[8] SQL Server,^[9] Exchange Server^[10] and SharePoint.^[11]

The end result is similar to a versioning file system, allowing any file to be retrieved as it existed at the time any of the snapshots was made. Unlike a true versioning file system, however, users cannot trigger the creation of new versions of an individual file, only the entire volume. As a side-effect, whereas the owner of a file can create new versions in a versioning file system, only a system administrator or a backup operator can create new snapshots (or control when new snapshots are taken), because this requires control of the entire volume rather than an individual file. Also, many versioning file systems (such as the one in VMS) implicitly save a version of files each time they are changed; systems using a snapshotting approach like Windows only capture the state periodically.

Volume Snapshot Service was first added to Microsoft Windows in Windows XP. It can only create temporary snapshots, used for accessing stable on-disk version of files that are opened for editing (and therefore locked). This version of VSS is used by NTBackup.

The creation of persistent snapshots (which remain available across reboots until specifically deleted) has been added in Windows Server 2003, allowing up to 512 snapshots to exist simultaneously for the same volume. In Windows Server 2003, VSS is used to create incremental periodic snapshots of data of changed files over time. A maximum of 64 snapshots are stored on the server and are accessible to clients over the network. This feature is known as Shadow Copies for Shared Folders and is designed for a client–server model.^[12] Its client component is included with Windows XP SP2 or later, and is available for installation on Windows 2000 SP3 or later, as well as Windows XP RTM or SP1.^[13]

vssadmin

Windows XP^[14] and later include a command line utility called vssadmin that can list, create or delete volume shadow copies and list installed shadow copy writers and providers.^[15]

Microsoft updated a number of Windows components to make use of Shadow Copy. Backup and Restore in Windows Vista, Windows Server 2008, Windows 7 and Windows Server 2008 R2 use shadow copies of files in both file-based and sector-by-sector backup. The System Protection component uses VSS when creating and maintaining periodic copies of system and user data on the same local volume (similar to the Shadow Copies for Shared Folders feature in Windows Server); VSS allows such data to be locally accessed by System Restore.

System Restore allows reverting to an entire previous set of shadow copies called a restore point.^[16][17]
Prior to Windows Vista, System Restore depended on a file-based filter that watched for changes to files with a certain set of extensions, and then copied files before they were overwritten.^[18][19][20] In addition, a part of Windows Explorer called Previous Versions allows restoring individual files or folders locally from restore points as they existed at the time of the snapshot, thus retrieving an earlier version of a file or recovering a file deleted by mistake.

diskshadow

Finally, Windows Server 2008 introduces the diskshadow utility which exposes VSS functionality through 20 different commands.^[21]

The system creates shadow copies automatically once per day, or when triggered by the backup utility or installer applications which create a restore point.^[22][23] The «Previous Versions» feature is available in the Business, Enterprise, and Ultimate editions of Windows Vista^[24] and in all Windows 7 editions. The Home Editions of Vista lack the «Previous Versions» feature, even though the Volume Snapshot Service is included and running. Using third-party tools it is still possible to restore previous versions of files on the local volume.^[25]
Some of these tools also allow users to schedule snapshots at user-defined intervals, configure the storage used by volume-shadow copies and compare files or directories from different points-in-time using snapshots.^[26]
Windows 7 also adds native support through a GUI to configure the storage used by volume-shadow copies.

While supporting persistent shadow copies, Windows 8 lacks the GUI portion necessary to browse them; therefore the ability to browse, search or recover older versions of files via the Previous Versions tab of the Properties dialog of files was removed for local volumes. However, using third party tools (such as ShadowExplorer) it is possible to recover that functionality. The feature is fully available in Windows Server 2012.^[27]

Windows 10 restored the Previous Versions tab that was removed in Windows 8; however, in earlier builds it depended upon the File History feature instead of Volume Shadow copy. Current builds now allow restoration from both File History and System Protection (System Restore) points, which use Volume Shadow Copy.^[28]

Windows 11 retains the same Previous Versions and File History feature introduced in Windows 10, although it is disabled by default.^[29]

Samba on Linux is capable of providing Shadow Copy Service on an LVM-backed storage or with an underlying ZFS or btrfs.^[30][31][32]

While the different NTFS versions have a certain degree of both forward and backward compatibility, there are certain issues when mounting newer NTFS volumes containing persistent shadow copies in older versions of Windows. This affects dual-booting, and external portable hard drives. Specifically, the persistent shadow copies created by Windows Vista on an NTFS volume are deleted when Windows XP or Windows Server 2003 mount that NTFS volume. This happens because the older operating system does not understand the newer format of persistent shadow copies.^[33] Likewise, System Restore snapshots created by Windows 8 are deleted if they are exposed to a previous version of Windows.^[34]

• List of Microsoft Windows components
• Snapshot (computer storage)
• Copy-on-write