Дедупликация данных в windows server 2008 r2

Технология дедупликации данных в продуктах Microsoft началась с выходом Windows 2000 Server. В Remote Installation Services использовался файловый фильтр Single Instance Storage, который находил одинаковые файлы в папке RemoteInstall и заменял их символическими
ссылками. Таким образом, появлялась возможность хранения множества дистрибутивов для распространения через RIS. Файлы дистрибутивов на диске хранились в единственном экзмпляре, существенно экономя дисковое пространство. В практически неизменном виде технология
присутствует и в Windows Server 2003 RIS и в Windows Server 2008 Deployment Services. Для System Center Data Protection Manager и для Exchange Server были также созданы SIS фильтры экономии дискового пространства для резервных копий и писем соответственно.
В Windows Storage Server 2003 впервые технология стала доступна для пользовательских данных. И именно в таком виде она сейчас существует в Windows Storage Server 2008 R2.

В Windows Server 2012 развитие технологии позволило перенести эту функциональность из семейства Storage в редакции Standard и Datacenter. Более того, произошел перевод фильтра с файлового уровня на блочный. Теперь не обязательно иметь одинаковые файлы для экономии
дискового пространства. Достаточно чтобы эти файлы имели частично одинаковое содержимое. Как нельзя лучше для этой цели подходят, к примеру, VHD-диски, которые в большинстве своём состоят из одних и тех же файлов. Задействовав  Data Deduplication на томах
с виртуальными машинами и библиотеками шаблонов, появляется возможность существенно экономить дисковое пространство.

Кроме того, частично использовать возможности дедупликации можно и на предыдущих версиях Windows Server, в частности на Windows Server. После установки компонента Data Deduplication необходимо из каталога
WindowsSystem32 скопировать файл утилиты DDPEval.exe. Инструмент позволяет, используя определенный синтаксис команды, оценить возможность экономии для локальных и удаленных папок

Взаимодействие при дедупликации данных Data Deduplication interoperability

Область применения: Windows Server (половина ежегодного канала), Windows Server 2016, Windows Server 2019 Applies to: Windows Server (Semi-Annual Channel), Windows Server 2016, Windows Server 2019

Поддерживаются: Supported

ReFS ReFS

Дедупликация данных поддерживается в Windows Server 2019. Data Deduplication is supported as of Windows Server 2019.

Отказоустойчивая кластеризация Failover Clustering

Отказоустойчивая кластеризация полностью поддерживается, если на каждом узле кластера установлена функция дедупликации данных. Failover Clustering is fully supported, if every node in the cluster has the Data Deduplication feature installed. Другие важные сведения. Other important notes:

Реплика хранилища Storage Replica

Реплика хранилища полностью поддерживается. Storage Replica is fully supported. Дедупликация данных должна быть настроена на то, чтобы не выполняться на дополнительной копии. Data Deduplication should be configured to not run on the secondary copy.

BranchCache BranchCache

Доступ к данным по сети можно оптимизировать, включив компонент BranchCache на серверах и клиентах. You can optimize data access over the network by enabling BranchCache on servers and clients. Когда система с включенным компонентом BranchCache взаимодействует по глобальной сети с удаленным файловым сервером, на котором работает дедупликация данных, все файлы, обработанные дедупликацией, уже проиндексированы и хэшированы, When a BranchCache-enabled system communicates over a WAN with a remote file server that is running data deduplication, all of the deduplicated files are already indexed and hashed. поэтому запросы данных из филиала обрабатываются быстро. Therefore, requests for data from a branch office are quickly computed. Этот процесс схож с предварительным индексированием или предварительным хэшированием сервера с включенным BranchCache. This is similar to preindexing or prehashing a BranchCache-enabled server.

Репликация DFS DFS Replication

Дедупликация данных работает с репликацией распределенной файловой системы (DFS). Data Deduplication works with Distributed File System (DFS) Replication. Оптимизация или отмена оптимизации файла не будет вызывать репликацию, так как файл не изменяется. Optimizing or unoptimizing a file will not trigger a replication because the file does not change. Репликация DFS использует удаленное разностное сжатие (RDC), а не блоки в хранилище блоков для экономии по сети. DFS Replication uses Remote Differential Compression (RDC), not the chunks in the chunk store, for over-the-wire savings. Файлы в реплике также могут быть оптимизированы с помощью дедупликации, если реплика использует дедупликациюи данных. The files on the replica can also be optimized by using deduplication if the replica is using Data Deduplication.

Квоты Quotas

Дедупликация данных не поддерживает создание жесткой квоты в корневой папке тома, для которой также включена дедупликация. Data Deduplication does not support creating a hard quota on a volume root folder that also has deduplication enabled. Когда задана жесткая квота для корня тома, не совпадают значения фактического свободного пространства тома и пространства, ограниченного квотой. When a hard quota is present on a volume root, the actual free space on the volume and the quota-restricted space on the volume are not the same. Это может привести к сбоям заданий оптимизации дедупликации. This may cause deduplication optimization jobs to fail. При этом можно задать мягкую квоту для корневой папки тома, для которой также включена дедупликация. It is possible however to creating a soft quota on a volume root that has deduplication enabled.

При включении квоты для дедуплицированного тома используется не физический, а логический размер файла. When quota is enabled on a deduplicated volume, quota uses the logical size of the file rather than the physical size of the file. Использование квоты (в том числе порогов квоты) не изменяется, когда файл обрабатывается при дедупликации. Quota usage (including any quota thresholds) does not change when a file is processed by deduplication. Все остальные функциональные возможности квот, в том числе мягкие квоты корня тома и квоты вложенных папок, при использовании дедупликации работают нормально. All other quota functionality, including volume-root soft quotas and quotas on subfolders, works normally when using deduplication.

Система архивации данных Windows Server Windows Server Backup

В службе архивации Windows Server имеется возможность резервного копирования оптимизированного тома на условиях «как есть» (то есть без удаления дедуплицированных данных). Windows Server Backup can back up an optimized volume as-is (that is, without removing deduplicated data). На следующих этапах показано, как выполнить резервное копирование тома, а также восстановить том или выбранные файлы тома. The following steps show how to back up a volume and how to restore a volume or selected files from a volume.

Установите систему архивации данных Windows Server. Install Windows Server Backup.

Для резервного копирования тома E: в другой том выполните следующую команду, указав правильные имена томов для своей ситуации: Back up the E: volume to another volume by running the following command, substituting the correct volume names for your situation.

Получите идентификатор версии для только что созданной резервной копии: Get the version ID of the backup you just created.

Этот идентификатор версии выходных данных будет строкой даты и времени, например: 08/18/2016-06:22. This output version ID will be a date and time string, for example: 08/18/2016-06:22.

Восстановите весь том. Restore the entire volume.

—ИЛИ— —OR—

Восстановите определенную папку (в данном случае папку E:Docs). Restore a particular folder (in this case, the E:Docs folder):

Не поддерживается Unsupported

Windows 10 (ОС на клиенте) Windows 10 (client OS)

Дедупликация данных не поддерживается в Windows 10. Data Deduplication is not supported on Windows 10. Существует несколько популярных записей в блоге сообщества Windows, в которых описано, как удалить двоичные файлы из Windows Server 2016 и установить на Windows 10, но этот сценарий не был проверен как часть процесса разработки дедупликации данных. There are several popular blog posts in the Windows community describing how to remove the binaries from Windows Server 2016 and install on Windows 10, but this scenario has not been validated as part of the development of Data Deduplication. Проголосовать за этот элемент для Windows 10 vNext на Windows Server Storage UserVoice. Vote for this item for Windows 10 vNext on the Windows Server Storage UserVoice.

Поиск Windows Windows Search

Поиск Windows не поддерживает дедупликацию данных. Windows Search doesn’t support Data Deduplication. Поскольку дедупликация данных использует точки повторного анализа, которые поиск Windows не может индексировать, он пропускает все дедуплицированные файлы, исключая их из индекса. Data Deduplication uses reparse points, which Windows Search can’t index, so Windows Search skips all deduplicated files, excluding them from the index. В итоге результаты поиска для дедуплицированных томов могут быть неполными. As a result, search results might be incomplete for deduplicated volumes. Проголосовать за этот элемент для Windows Server vNext на Windows Server Storage UserVoice. Vote for this item for Windows Server vNext on the Windows Server Storage UserVoice.

Robocopy Robocopy

Выполнение Robocopy с дедупликацией данных не рекомендуется, так как выполнение определенных команд Robocopy может привести к повреждению хранилища блоков. Running Robocopy with Data Deduplication is not recommended because certain Robocopy commands can corrupt the Chunk Store. Хранилище блоков содержится в информационной папке системного тома. The Chunk Store is stored in the System Volume Information folder for a volume. При удалении папки оптимизированные файлы (точки повторной обработки), копируемые из исходного тома, повреждаются, так как порции данных не копируются на конечный том. If the folder is deleted, the optimized files (reparse points) that are copied from the source volume become corrupted because the data chunks are not copied to the destination volume.

Источник

Понимание процесса дедупликации данных Understanding Data Deduplication

Область применения: Windows Server 2019, Windows Server 2016, Windows Server (половина ежегодного канала) Applies to: Windows Server 2019, Windows Server 2016, Windows Server (Semi-Annual Channel)

В этом документе описывается, как работает дедупликация данных. This document describes how Data Deduplication works.

Как работает дедупликация данных How does Data Deduplication work?

Дедупликация данных для Windows Server разрабатывалась на основе двух важнейших принципов. Data Deduplication in Windows Server was created with the following two principles:

Оптимизация не должна получать данные о способе записи на диск При дедупликации данные оптимизируются с помощью модели последующей обработки. Optimization should not get in the way of writes to the disk Data Deduplication optimizes data by using a post-processing model. Все данные записываются на диск в неоптимизированном виде, а затем оптимизируются с помощью дедупликации данных. All data is written unoptimized to the disk and then optimized later by Data Deduplication.

Оптимизация не должна изменять семантику доступа Пользователи и приложения, обращающиеся к данным на оптимизированном томе, полностью не знают, что файлы, к которым они обращаются, были дедупликации. Optimization should not change access semantics Users and applications that access data on an optimized volume are completely unaware that the files they are accessing have been deduplicated.

После включения дедупликации данных для тома она выполняет в фоновом режиме следующие задачи: Once enabled for a volume, Data Deduplication runs in the background to:

Этот процесс выполняется в четыре этапа: This occurs in the following four steps:

При считывании оптимизированных файлов файловая система отправляет файлы с точкой повторного анализа в фильтр дедупликации данных файловой системы (Dedup.sys). When optimized files are read, the file system sends the files with a reparse point to the Data Deduplication file system filter (Dedup.sys). Фильтр перенаправляет операцию чтения к соответствующим блокам, которые образуют поток этого файла в хранилище блоков. The filter redirects the read operation to the appropriate chunks that constitute the stream for that file in the chunk store. Изменения фрагментов дедуплицированного файла записываются на диск в неоптимизированном виде. Их при следующем запуске обрабатывает задание оптимизации. Modifications to ranges of a deduplicated files get written unoptimized to the disk and are optimized by the Optimization job the next time it runs.

Типы использования Usage Types

Следующие типы использования содержат рациональные настройки дедупликации данных для некоторых распространенных рабочих нагрузок. The following Usage Types provide reasonable Data Deduplication configuration for common workloads:

Задания Jobs

Функция дедупликации данных использует стратегию постобработки для оптимизации и эффективного использования пространства на томе. Data Deduplication uses a post-processing strategy to optimize and maintain a volume’s space efficiency.

Терминология дедупликации данных Data Deduplication terminology

Не пытайтесь вручную изменять содержимое хранилища блоков, если вы не получали таких указаний от авторизованных представителей службы поддержки корпорации Майкрософт. Unless instructed by authorized Microsoft Support Personnel, do not attempt to manually modify the chunk store. Такие действия могут привести к повреждению или утрате данных. Doing so may result in data corruption or loss.

Часто задаваемые вопросы Frequently asked questions

Чем отличается дедупликация данных от других средств оптимизации? How does Data Deduplication differ from other optimization products? Есть несколько важных различий между дедупликацией данных и другими распространенными решениями для оптимизации хранения. There are several important differences between Data Deduplication and other common storage optimization products:

Чем отличается дедупликация данных от хранилища единственных копий? How does Data Deduplication differ from Single Instance Store? Хранилище единственных копий (SIS) является предшественником технологии дедупликации данных и впервые было представлено в выпуске Windows Storage Server 2008 R2. Single Instance Store, or SIS, is a technology that preceded Data Deduplication and was first introduced in Windows Storage Server 2008 R2. Для оптимизации тома хранилище единственных копий выявляло в нем полностью идентичные файлы и заменяло их логическими ссылками на одну копию такого файла, размещенную в общем хранилище SIS. To optimize a volume, Single Instance Store identified files that were completely identical and replaced them with logical links to a single copy of a file that’s stored in the SIS common store. В отличие от хранилища единственных копий, дедупликация данных способна уменьшить пространство, занимаемое файлами, которые не полностью идентичны, но имеют некоторые одинаковые элементы, а также файлами, в которых встречается много повторяющихся элементов. Unlike Single Instance Store, Data Deduplication can get space savings from files that are not identical but share many common patterns and from files that themselves contain many repeated patterns. Хранилище единственных копий считается устаревшим начиная с выпуска Windows Server 2012 R2, а в Windows Server 2016 его полностью заменила дедупликация данных. Single Instance Store was deprecated in Windows Server 2012 R2 and removed in Windows Server 2016 in favor of Data Deduplication.

Чем отличается дедупликация данных от сжатия NTFS? How does Data Deduplication differ from NTFS compression? Сжатие NTFS используется файловой системой NTFS на уровне тома. NTFS compression is a feature of NTFS that you can optionally enable at the volume level. Эта необязательная функция NTFS оптимизирует каждый файл по отдельности, сжимая его во время записи. With NTFS compression, each file is optimized individually via compression at write-time. В отличие от сжатия NTFS, дедупликация данных использует для экономии места одновременно все файлы на томе. Unlike NTFS compression, Data Deduplication can get spacing savings across all the files on a volume. Это гораздо эффективнее, чем сжатие NTFS, ведь файл может одновременно иметь как внутреннее дублирование данных (которое устраняется сжатием NTFS), так и сходство с другими файлами в томе (которое не устраняется сжатием NTFS). This is better than NTFS compression because files may have both internal duplication (which is addressed by NTFS compression) and have similarities with other files on the volume (which is not addressed by NTFS compression). Кроме того, дедупликация данных использует модель постобработки. Это означает, что новые или измененные файлы записываются на диск в неоптимизированном виде, и лишь затем дедупликация данных оптимизирует их. Additionally, Data Deduplication has a post-processing model, which means that new or modified files will be written to disk unoptimized and will be optimized later by Data Deduplication.

Чем дедупликация данных отличается от таких форматов файлов архивов, как ZIP, RAR, 7z, CAB и т. д.? How does Data Deduplication differ from archive file formats like zip, rar, 7z, cab, etc.? Форматы ZIP, RAR, 7Z, CAB и другие выполняют сжатие для определенного набора файлов. Archive file formats, like zip, rar, 7z, cab, etc., perform compression over a specified set of files. Как и в случае с дедупликацией данных, оптимизируются повторяющиеся фрагменты внутри файлов и в разных файлах. Like Data Deduplication, duplicated patterns within files and duplicated patterns across files are optimized. Однако вам необходимо выбрать файлы, которые должны быть включены в архив. However, you have to choose the files that you want to include in the archive. Семантика доступа также отличается. Access semantics are different, too. Чтобы получить доступ к определенному файлу в архиве, необходимо открыть архив, выбрать файл, а затем распаковать его для использования. To access a specific file within the archive, you have to open the archive, select a specific file, and decompress that file for use. Дедупликация данных работает незаметно для пользователей и администраторов, не требуя никаких ручных операций. Data Deduplication operates transparently to users and administrators and requires no manual kick-off. Кроме того, дедупликация данных сохраняет семантику доступа — оптимизированные файлы выглядят для пользователя точно так же, как и раньше. Additionally, Data Deduplication preserves access semantics: optimized files appear unchanged after optimization.

Можно ли изменить параметры дедупликации данных для выбранного типа использования? Can I change the Data Deduplication settings for my selected Usage Type? Да. Yes. Хотя дедупликация данных обеспечивает рациональные значения по умолчанию для рекомендуемых рабочих нагрузок, вам может потребоваться настроить параметры для наиболее эффективного использования хранилища. Although Data Deduplication provides reasonable defaults for Recommended workloads, you might still want to tweak Data Deduplication settings to get the most out of your storage. И не забывайте, что в некоторых случаях определенная дополнительная настройка нужна для того, чтобы дедупликация не мешала рабочей нагрузке. Additionally, other workloads will require some tweaking to ensure that Data Deduplication does not interfere with the workload.

Можно ли вручную запускать задания дедупликации данных? Can I manually run a Data Deduplication job? Да, все задания дедупликации данных можно запускать вручную. Yes, all Data Deduplication jobs may be run manually. Это удобно, если запланированное задание не было выполнено из-за недостатка системных ресурсов или ошибки. This may be desirable if scheduled jobs did not run due to insufficient system resources or because of an error. Кроме того, есть специальное задание отмены оптимизации, которое запускается только вручную. Additionally, the Unoptimization job can only be run manually.

Можно ли просмотреть историю запусков заданий дедупликации данных? Can I monitor the historical outcomes of Data Deduplication jobs? Да, все задания дедупликации данных создают записи в журнале событий Windows. Yes, all Data Deduplication jobs make entries in the Windows Event Log.

Можно ли изменить расписание по умолчанию для заданий дедупликации данных? Can I change the default schedules for the Data Deduplication jobs on my system? Да, все расписания можно настраивать вручную. Yes, all schedules are configurable. Важнее всего изменять расписание дедупликации данных в тех случаях, когда нужно обеспечить достаточное время для завершения заданий, чтобы дедупликация данных не претендовала на ресурсы, требуемые для рабочей нагрузки. Modifying the default Data Deduplication schedules is particularly desirable to ensure that the Data Deduplication jobs have time to finish and do not compete for resources with the workload.

Источник

Видео

Еще в Windows Server 2012 появилась новая функция Data Deduplication (Дедупликация данных). Я как-то пропустил этот факт, так, как многие годы эксплуатировали корзину EMC Data Domain (я писал об этом ранее на просторах блога), которая средствами корзины поддерживала дедупликацию, и жала очень хорошо (порой 10-20х). Но время не стоит на месте, корзины постепенно были заменены на другие более быстрые, но они более не поддерживают дедупликацию (а жаль, вещь не заменимая, позволяет сэкономить много места, а соответственно и денег на стораджах).

Что же такое дедупликация? Дедупликация данных в общем случае – это процедура поиска и удаления дублирующих данных на носителе информации без ущерба для целостности информации. Цель дедупликации – хранить информацию в небольших блоках (32-128 Кб), выявлять одинаковые (дублирующие блоки) и сохранять только одну копию для каждого блока, а блоки-дубликаты заменять ссылками на единственную копию.

В этой связи, кстати совсем недавно, пришлось вернуться к возможности программной дедупликации Windows Server (сразу скажу, я столкнулся с этой возможностью впервые).

Несмотря на то, что у нас на файл-сервере настроены жесткие квоты на папки (рекомендую это сделать сразу после установки настройки файл-сервера, иначе пользователи просто мгновенно превратят файл-сервер в сервер с «резиновыми папками», и сколько бы Вы не добавляли места, его все равно не хватит), но даже при таком раскладе с квотами, свободное место медленно, но верно продолжает таять, именно по этому время применить программную дедупликацию.

В Windows Server функция дедупликация реализована в виде двух компонентов:

• Драйвера–фильтра, который контролирует функции ввода/вывода
• Службы дедупликации – контролирует три операции («Сборка мусора», «Оптимизация» и «Очистка»).

Указанные компоненты отвечают за поиск совпадающих данных, организации их хранения в единственном числе и корректное предоставление к ним доступа.

Ранее дедупликация в продуктах Microsoft встречалась в почтовом сервере Exchange 2000/2003/2007/2010– в компоненте Single Instance Storage (на сервере в ящике одного из адресатов хранится только один экземпляр сообщения, а остальные адресаты получают просто ссылку на него).

Дедупликация данных в Windows Server выполняется в фоновом режиме и по-умолчанию запускается каждый час. Процесс запускается при низкой нагрузке на сервер и не снижает общую производительность сервера. Также по-умолчанию дедупликации подвергаются файлы, к которым не было доступа более 30 дней. Кроме того, процедура не осуществляется для следующих типов файлов:: aac, aif, aiff, asf, asx, au, avi, flac, jpeg, m3u, mid, midi, mov, mp1, mp2, mp3, mp4, mpa, mpe, mpeg, mpeg2, mpeg3, mpg, ogg, qt, qtw, ram, rm, rmi, rmvb, snd, swf, vob, wav, wax, wma, wmv, wvx, accdb, accde, accdr, accdt, docm, docx, dotm, dotx, pptm, potm, potx, ppam, ppsx, pptx, sldx, sldm, thmx, xlsx, xlsm, xltx, xltm, xlsb, xlam, xll, ace, arc, arj, bhx, b2, cab, gz, gzip, hpk, hqx, jar, lha, lzh, lzx, pak, pit, rar, sea, sit, sqz, tgz, uu, uue, z, zip, zoo.

Функционал управления дедупликацей доступен из графического интерфейса или через PowerShell.

Рассмотрим оба варианта.

Windows Server Data Deduplication GUI.

Чтобы включить дедупликацию данных, нужно доустановить компонент Дедупликация Данных роли Роли сервера. Сделать это можно из консоли Диспетчера сервера.

После окончания установки компонента откройте консоль Диспетчера сервера -> Файловые службы и службы хранилища -> Тома –> и щелкните правой кнопкой по разделу, для которого хотите включить дедупликацию и выберите Настройка дедупликации данных.

Далее, можно настроить параметры дедупликации, так как Вам необходимо (настроить исключения папок):

Для анализа использования дискового пространства и возможной экономии от включения дедупликаций для данного тома, разработана утилита DDPEVAL.exe. Оценить, сколько же дискового пространства получится сэкономить после включении Дедупликации данных, можно с помощью следующей команды (учтите, для больших томов она может создать существенную нагрузку на CPU)

c:windowssystem32ddpeval.exe d:

В моем случае экономия составила бы порядка 37% (что очень хорошо).

Вот так выглядел мой диск D: до включения дедупликации…

Дедупликация через Powershell.

Процессом дедупликации можно управлять и из Powershell. Для этого нужно установить функцию Data-Deduplicationс помощью команд:

Import-Module ServerManager

Add-WindowsFeature -name FS-Data-Deduplication

Import-Module Deduplication

После того, как функция дедупликации включена, ее нужно сконфигурировать. Чтобы включить дедуплликацию для диска D:, выполним команду:

Enable-DedupVolume D:

По-умолчаию дедупликации подвергаются файлы, к которым не было доступа (Last Access)более 30 дней. Это значение можно изменить, например, на 7 дней, для этого выполните команду:

Set-DedupVolume D: -MinimumFileAgeDays 7

Обычно процесс дедупликации запускается планировщиком Windows, но его можно запустить и вручную:

Start-DedupJob D: –Type Optimization

Текущую статистику можно посмотреть с помощью команды:

Get-DedupStatus

Со списком текущих заданий можно познакомится с помощью команды:

Get-DedupJob

Все результаты работы для тома можно отобразить командой PoSH:

Get-DedupMetadata -Volume D:

И, наконец, полностью отменить дедупликацию для тома можно командой:

Start-DedupJob -Volume D: -Type Unoptimization

В итоге, получаем неплохую экономию места. ДАС ист ГУД.

Всем хорошей работы!!!

27.09.2022 —

Posted by |
ms windows server 2019