Рядовому пользователю компьютерных электронных устройств редко, но приходится сталкиваться с таким понятием, как «выбор файловой системы». Чаще всего это происходит при необходимости форматирования внешних накопителей (флешек, microSD), установке операционных систем, восстановлении данных на проблемных носителях, в том числе жестких дисках. Пользователям Windows предлагается выбрать тип файловой системы, FAT32 или NTFS, и способ форматирования (быстрое/глубокое). Дополнительно можно установить размер кластера. При использовании ОС Linux и macOS названия файловых систем могут отличаться.
Возникает логичный вопрос: что такое файловая система и в чем ее предназначение? В данной статье дадим ответы на основные вопросы касательно наиболее распространенных ФС.
Что такое файловая система
Обычно вся информация записывается, хранится и обрабатывается на различных цифровых носителях в виде файлов. Далее, в зависимости от типа файла, кодируется в виде знакомых расширений – *exe, *doc, *pdf и т.д., происходит их открытие и обработка в соответствующем программном обеспечении. Мало кто задумывается, каким образом происходит хранение и обработка цифрового массива в целом на соответствующем носителе.
Операционная система воспринимает физический диск хранения информации как набор кластеров размером 512 байт и больше. Драйверы файловой системы организуют кластеры в файлы и каталоги, которые также являются файлами, содержащими список других файлов в этом каталоге. Эти же драйверы отслеживают, какие из кластеров в настоящее время используются, какие свободны, какие помечены как неисправные.
Запись файлов большого объема приводит к необходимости фрагментации, когда файлы не сохраняются как целые единицы, а делятся на фрагменты. Каждый фрагмент записывается в отдельные кластеры, состоящие из ячеек (размер ячейки составляет один байт). Информация о всех фрагментах, как части одного файла, хранится в файловой системе.
Файловая система связывает носитель информации (хранилище) с прикладным программным обеспечением, организуя доступ к конкретным файлам при помощи функционала взаимодействия программ API. Программа, при обращении к файлу, располагает данными только о его имени, размере и атрибутах. Всю остальную информацию, касающуюся типа носителя, на котором записан файл, и структуры хранения данных, она получает от драйвера файловой системы.
На физическом уровне драйверы ФС оптимизируют запись и считывание отдельных частей файлов для ускоренной обработки запросов, фрагментации и «склеивания» хранящейся в ячейках информации. Данный алгоритм получил распространение в большинстве популярных файловых систем на концептуальном уровне в виде иерархической структуры представления метаданных (B-trees). Технология снижает количество самых длительных дисковых операций – позиционирования головок при чтении произвольных блоков. Это позволяет не только ускорить обработку запросов, но и продлить срок службы HDD. В случае с твердотельными накопителями, где принцип записи, хранения и считывания информации отличается от применяемого в жестких дисках, ситуация с выбором оптимальной файловой системы имеет свои нюансы.
Комьюнити теперь в Телеграм
Подпишитесь и будьте в курсе последних IT-новостей
Подписаться
Основные функции файловых систем
Файловая система отвечает за оптимальное логическое распределение информационных данных на конкретном физическом носителе. Драйвер ФС организует взаимодействие между хранилищем, операционной системой и прикладным программным обеспечением. Правильный выбор файловой системы для конкретных пользовательских задач влияет на скорость обработки данных, принципы распределения и другие функциональные возможности, необходимые для стабильной работы любых компьютерных систем. Иными словами, это совокупность условий и правил, определяющих способ организации файлов на носителях информации.
Основными функциями файловой системы являются:
- размещение и упорядочивание на носителе данных в виде файлов;
- определение максимально поддерживаемого объема данных на носителе информации;
- создание, чтение и удаление файлов;
- назначение и изменение атрибутов файлов (размер, время создания и изменения, владелец и создатель файла, доступен только для чтения, скрытый файл, временный файл, архивный, исполняемый, максимальная длина имени файла и т.п.);
- определение структуры файла;
- поиск файлов;
- организация каталогов для логической организации файлов;
- защита файлов при системном сбое;
- защита файлов от несанкционированного доступа и изменения их содержимого.
Задачи файловой системы
Функционал файловой системы нацелен на решение следующих задач:
- присвоение имен файлам;
- программный интерфейс работы с файлами для приложений;
- отображение логической модели файловой системы на физическую организацию хранилища данных;
- поддержка устойчивости файловой системы к сбоям питания, ошибкам аппаратных и программных средств;
- содержание параметров файла, необходимых для правильного взаимодействия с другими объектами системы (ядро, приложения и пр.).
В многопользовательских системах реализуется задача защиты файлов от несанкционированного доступа, обеспечение совместной работы. При открытии файла одним из пользователей для других этот же файл временно будет доступен в режиме «только чтение».
Вся информация о файлах хранится в особых областях раздела (томах). Структура справочников зависит от типа файловой системы. Справочник файлов позволяет ассоциировать числовые идентификаторы уникальных файлов и дополнительную информацию о них с непосредственным содержимым файла, хранящимся в другой области раздела.
Операционные системы и типы файловых систем
Существует три основных вида операционных систем, используемых для управления любыми информационными устройствами: Windows компании Microsoft, macOS разработки Apple и операционные системы с открытым исходным кодом на базе Linux. Все они, для взаимодействия с физическими носителями, используют различные типы файловых систем, многие из которых дружат только со «своей» операционкой. В большинстве случаев они являются предустановленными, рядовые пользователи редко создают новые дисковые разделы и еще реже задумываются об их настройках.
В случае с Windows все выглядит достаточно просто: NTFS на всех дисковых разделах и FAT32 (или NTFS) на флешках. Если установлен NAS (сервер для хранения данных на файловом уровне), и в нем используется какая-то другая файловая система, то практически никто не обращает на это внимания. К нему просто подключаются по сети и качают файлы.
На мобильных гаджетах с ОС Android чаще всего установлена ФС версии ext4 во внутренней памяти и FAT32 на карточках microSD. Владельцы продукции Apple зачастую вообще не имеют представления, какая файловая система используется на их устройствах – HFS+, HFSX, APFS, WTFS или другая. Для них существуют лишь красивые значки папок и файлов в графическом интерфейсе.
Более богатый выбор у линуксоидов. Но здесь настройка и использование определенного типа файловой системы требует хотя бы минимальных навыков программирования. Тем более, мало кто задумывается, можно ли использовать в определенной ОС «неродную» файловую систему. И зачем вообще это нужно.
Рассмотрим более подробно виды файловых систем в зависимости от их предпочтительного использования с определенной операционной системой.
Файловые системы Windows
Исходный код файловой системы, получившей название FAT, был разработан по личной договоренности владельца Microsoft Билла Гейтса с первым наемным сотрудником компании Марком Макдональдом в 1977 году. Основной задачей FAT была работа с данными в операционной системе Microsoft 8080/Z80 на базе платформы MDOS/MIDAS. Файловая система FAT претерпела несколько модификаций – FAT12, FAT16 и, наконец, FAT32, которая используется сейчас в большинстве внешних накопителей. Основным отличием каждой версии является преодоление ограниченного объема доступной для хранения информации. В дальнейшем были разработаны еще две более совершенные системы обработки и хранения данных – NTFS и ReFS.
FAT (таблица распределения файлов)
Числа в FAT12, FAT16 и FAT32 обозначают количество бит, используемых для перечисления блока файловой системы. FAT32 является фактическим стандартом и устанавливается на большинстве видов сменных носителей по умолчанию. Одной из особенностей этой версии ФС является возможность применения не только на современных моделях компьютеров, но и в устаревших устройствах и консолях, снабженных разъемом USB.
Пространство FAT32 логически разделено на три сопредельные области:
- зарезервированный сектор для служебных структур;
- табличная форма указателей;
- непосредственная зона записи содержимого файлов.
К недостатком стандарта FAT32 относится ограничение размера файлов на диске до 4 Гб и всего раздела в пределах 8 Тб. По этой причине данная файловая система чаще всего используется в USB-накопителях и других внешних носителях информации. Для установки последней версии ОС Microsoft Windows 10 на внутреннем носителе потребуется более продвинутая файловая система.
С целью устранения ограничений, присущих FAT32, корпорация Microsoft разработала обновленную версию файловой системы exFAT (расширенная таблица размещения файлов). Новая ФС очень схожа со своим предшественником, но позволяет пользователям хранить файлы намного большего размера, чем четыре гигабайта. В exFAT значительно снижено число перезаписей секторов, ответственных за непосредственное хранение информации. Функция очень важна для твердотельных накопителей ввиду необратимого изнашивания ячеек после определенного количества операций записи. Продукт exFAT совместим с операционными системами Mac, Android и Windows. Для Linux понадобится вспомогательное программное обеспечение.
NTFS (файловая система новой технологии)
Стандарт NTFS разработан с целью устранения недостатков, присущих более ранним версиям ФС. Впервые он был реализован в Windows NT в 1995 году, и в настоящее время является основной файловой системой для Windows. Система NTFS расширила допустимый предел размера файлов до шестнадцати гигабайт, поддерживает разделы диска до 16 Эб (эксабайт, 1018 байт). Использование системы шифрования Encryption File System (метод «прозрачного шифрования») осуществляет разграничение доступа к данным для различных пользователей, предотвращает несанкционированный доступ к содержимому файла. Файловая система позволяет использовать расширенные имена файлов, включая поддержку многоязычности в стандарте юникода UTF, в том числе в формате кириллицы. Встроенное приложение проверки жесткого диска или внешнего накопителя на ошибки файловой системы chkdsk повышает надежность работы харда, но отрицательно влияет на производительность.
ReFS (Resilient File System)
Последняя разработка Microsoft, доступная для серверов Windows 8 и 10. Архитектура файловой системы в основном организована в виде B + -tree. Файловая система ReFS обладает высокой отказоустойчивостью благодаря реализации новых функций:
- Copy-on-Write (CoW) – никакие метаданные не изменяются без копирования;
- данные записываются на новое дисковое пространство, а не поверх существующих файлов;
- при модификации метаданных новая копия хранится в свободном дисковом пространстве, затем система создает ссылку из старых метаданных на новую версию.
Все это позволяет повысить надежность хранения файлов, обеспечивает быстрое и легкое восстановление данных.
Файловые системы macOS
Для операционной системы macOS компания Apple использует собственные разработки файловых систем:
- HFS+, которая является усовершенствованной версией HFS, ранее применяемой на компьютерах Macintosh, и ее более соверешенный аналог APFS. Стандарт HFS+ используется во всех устройствах под управлением продуктов Apple, включая компьютеры Mac, iPod, а также Apple X Server.
- Кластерная файловая система Apple Xsan, созданная из файловых систем StorNext и CentraVision, используется в расширенных серверных продуктах. Эта файловая система хранит файлы и папки, информацию Finder о просмотре каталогов, положениях окна и т.д.
Файловые системы Linux
В отличие от ОС Windows и macOS, ограничивающих выбор файловой системы предустановленными вариантами, Linux предоставляет возможность использования нескольких ФС, каждая из которых оптимизирована для решения определенных задач. Файловые системы в Linux используются не только для работы с файлами на диске, но и для хранения данных в оперативной памяти или доступа к конфигурации ядра во время работы системы. Все они включены в ядро и могут использоваться в качестве корневой файловой системы.
Основные файловые системы, используемые в дистрибутивах Linux:
- Ext2;
- Ext3;
- Ext4;
- JFS;
- ReiserFS;
- XFS;
- Btrfs;
- ZFS.
Ext2, Ext3, Ext4 или Extended Filesystem – стандартная файловая система, первоначально разработанная еще для Minix. Содержит максимальное количество функций и является наиболее стабильной в связи с редкими изменениями кодовой базы. Начиная с ext3 в системе используется функция журналирования. Сегодня версия ext4 присутствует во всех дистрибутивах Linux.
JFS или Journaled File System разработана в IBM в качестве альтернативы для файловых систем ext. Сейчас она используется там, где необходима высокая стабильность и минимальное потребление ресурсов (в первую очередь в многопроцессорных компьютерах). В журнале хранятся только метаданные, что позволяет восстанавливать старые версии файлов после сбоев.
ReiserFS также разработана в качестве альтернативы ext3, поддерживает только Linux. Динамический размер блока позволяет упаковывать несколько небольших файлов в один блок, что предотвращает фрагментацию и улучшает работу с небольшими файлами. Недостатком является риск потери данных при отключении энергии.
XFS рассчитана на файлы большого размера, поддерживает диски до 2 терабайт. Преимуществом системы является высокая скорость работы с большими файлами, отложенное выделение места, увеличение разделов на лету, незначительный размер служебной информации. К недостаткам относится невозможность уменьшения размера, сложность восстановления данных и риск потери файлов при аварийном отключении питания.
Btrfs или B-Tree File System легко администрируется, обладает высокой отказоустойчивостью и производительностью. Используется как файловая система по умолчанию в OpenSUSE и SUSE Linux.
Другие ФС, такие как NTFS, FAT, HFS, могут использоваться в Linux, но корневая файловая система на них не устанавливается, поскольку они для этого не предназначены.
Дополнительные файловые системы
В операционных системах семейства Unix BSD (созданы на базе Linux) и Sun Solaris чаще всего используются различные версии ФС UFS (Unix File System), известной также под названием FFS (Fast File System). В современных компьютерных технологиях данные файловые системы могут быть заменены на альтернативные: ZFS для Solaris, JFS и ее производные для Unix.
Кластерные файловые системы включают поддержку распределенных хранилищ, расширяемость и модульность. К ним относятся:
- ZFS – «Zettabyte File System» разработана для распределенных хранилищ Sun Solaris OS;
- Apple Xsan – эволюция компании Apple в CentraVision и более поздних разработках StorNext;
- VMFS (Файловая система виртуальных машин) разработана компанией VMware для VMware ESX Server;
- GFS – Red Hat Linux именуется как «глобальная файловая система» для Linux;
- JFS1 – оригинальный (устаревший) дизайн файловой системы IBM JFS, используемой в старых системах хранения AIX.
Практический пример использования файловых систем
Владельцы мобильных гаджетов для хранения большого объема информации используют дополнительные твердотельные накопители microSD (HC), по умолчанию отформатированные в стандарте FAT32. Это является основным препятствием для установки на них приложений и переноса данных из внутренней памяти. Чтобы решить эту проблему, необходимо создать на карточке раздел с ext3 или ext4. На него можно перенести все файловые атрибуты (включая владельца и права доступа), чтобы любое приложение могло работать так, словно запустилось из внутренней памяти.
Операционная система Windows не умеет делать на флешках больше одного раздела. С этой задачей легко справится Linux, который можно запустить, например, в виртуальной среде. Второй вариант — использование специальной утилиты для работы с логической разметкой, такой как MiniTool Partition Wizard Free. Обнаружив на карточке дополнительный первичный раздел с ext3/ext4, приложение Андроид Link2SD и аналогичные ему предложат куда больше вариантов.
Флешки и карты памяти быстро умирают как раз из-за того, что любое изменение в FAT32 вызывает перезапись одних и тех же секторов. Гораздо лучше использовать на флеш-картах NTFS с ее устойчивой к сбоям таблицей $MFT. Небольшие файлы могут храниться прямо в главной файловой таблице, а расширения и копии записываются в разные области флеш-памяти. Благодаря индексации на NTFS поиск выполняется быстрее. Аналогичных примеров оптимизации работы с различными накопителями за счет правильного использования возможностей файловых систем существует множество.
Надеюсь, краткий обзор основных ФС поможет решить практические задачи в части правильного выбора и настройки ваших компьютерных устройств в повседневной практике.
Сначала в Windows Server, а теперь и в Windows 10 появилась современная файловая система REFS (Resilient File System), в которой вы можете отформатировать жесткие диски компьютера или созданные системными средствами дисковые пространства.
В этой статье — о том, что представляет собой файловая система REFS, о её отличиях от NTFS и возможных применениях для обычного домашнего пользователя.
Что такое REFS
Как уже было отмечено выше, REFS — новая файловая система, недавно появившаяся в «обычных» версиях Windows 10 (начиная с версии Creators Update ее можно использовать для любых дисков, ранее — только для дисковых пространств). Перевести на русский можно примерно как «Устойчивая» файловая система.
REFS была разработана для того, чтобы устранить некоторые недостатки файловой системы NTFS, повысить устойчивость, минимизировать возможные потери данных, а также работать с большим количеством данных.
Одна из главных особенностей файловой системы REFS — защита от потери данных: по умолчанию, на дисках хранятся контрольные суммы для метаданных или файлов. При операциях чтения-записи данные файлов сверяются с хранимыми для них контрольными суммами, таким образом, в случае повреждения данных есть возможность сразу «обратить на это внимание».
Изначально REFS в пользовательских версиях Windows 10 была доступна только для дисковых пространств (см. Как создать и использовать дисковые пространства Windows 10).
В случае с дисковыми пространствами её особенности могут быть наиболее полезными при обычном использовании: например, если вы создаете зеркальные дисковые пространства с файловой системой REFS, то при повреждении данных на одном из дисков, поврежденные данные сразу будут перезаписаны неповрежденной копией с другого диска.
Также новая файловая система содержит другие механизмы проверки, поддержки и исправления целостности данных на дисках, причем они работают в автоматическом режиме. Для обычного пользователя это означает меньшую вероятность повреждения данных в случаях, например, внезапного отключения питания при операциях чтения-записи.
Отличия файловой системы REFS от NTFS
Помимо функций, связанных с поддержкой целостности данных на дисках, REFS имеет следующие основные отличия от файловой системы NTFS:
- Обычно более высокая производительность, особенно в случае использования дисковых пространств.
- Теоретический размер тома 262144 экзабайта (против 16 у NTFS).
- Отсутствие ограничения пути к файлу в 255 символов (в REFS — 32768 символов).
- В REFS не поддерживаются имена файлов DOS (т.е. получить доступ к папке C:Program Files по пути C:progra~1 в ней не получится). В NTFS эта возможность сохранялась в целях совместимости со старым ПО.
- В REFS не поддерживается сжатие, дополнительные атрибуты, шифрование средствами файловой системы (в NTFS такое есть, для REFS работает шифрование Bitlocker).
В настоящий момент времени нельзя отформатировать системный диск в REFS, функция доступна только для не системных дисков (для съемных дисков не поддерживается), а также для дисковых пространств, и, пожалуй, только последний вариант может быть действительно полезным для обычного пользователя, которого беспокоит сохранность данных.
Обратите внимание, что после форматирования диска в файловой системе REFS, часть места на нем сразу будет занято контрольными данными: например, для пустого диска 10 Гб это около 700 Мб.
Возможно, в будущем REFS может стать основной файловой системой в Windows, однако на данный момент этого не произошло. Официальная информация по файловой системе на сайте Майкрософт: https://docs.microsoft.com/en-us/windows-server/storage/refs/refs-overview
Время прочтения
4 мин
Просмотры 13K
«ReFS» (Resilient File System) – это новая файловая система от Microsoft, которая создавалась как замена «NTFS». У нее есть несколько солидных преимуществ, а именно, разработчики исправили все ошибки «NTFS». Она гораздо больше защищена от повреждения информации, она лучше переносит возросшую нагрузку, а также масштабируется гораздо проще.
Основные функции Resilient File System
Целостность информации, использование контрольных сумм для метаданных.
Запись информации — Integrity streams (повышенная защита файлов при ошибке части носителя).
«allocate on write» — новая транзакционная модель.
Масштабируемость, увеличенные лимиты на объем каталогов, файлов, разделов.
Работа с пулами разделов, виртуализация разделов.
«data sriping» — система увеличивает производительность и отказоустойчивость данных, избыточная запись информации как в RAID массивах.
Чтобы выявить скрытые ошибки используется функция — «disk scrubbing», очистка диска в фоне.
Пересохранение информации возле проблемных блоков диска.
Единые пулы носителей, на нескольких компьютерах по сети, повышает отказоустойчивость, уменьшает нагрузку.
Поддержка большинства стандартных функций «NTFS».
Система верификации информации.
Отключение «ReFS» невозможно, так как сбойные сектора изолируются.
«Storage Spaces» — новая уникальная гибкая архитектура.
Еще новая ФС унаследовала часть функционала «NTFS»: работа с «BitLocker», «USN» журналирование, «ACL» контролируемый доступ, «mount points»… Естественно, общий объем данных и подключение к разделам«ReFS», доступны по тем же «API».
Особенности «ReFS»
Контрольные суммы теперь используются для метаданных по умолчанию, также их применяют и к данным отдельных файлов. Так, в процессе чтениязаписи, осуществляется верификации «на лету». Когда ФС обнаружит повреждение файлов, то моментально удалит записи без перезагрузки компьютера. То есть, «ReFS» теперь самостоятельно себя корректирует при появлении ошибок.
«ReFS» обеспечивает более высокую надежность сохранения информации, по сравнению со старой ФС. Для хранения файлов и метаданных используются «B+-деревья». Размеры, количество разделов и файлов теперь ограничены максимальным 64-битным значением. Пустое пространство хранится в трех разных таблицах, разбитых по объемам фрагментов (малых, средних, больших). Названия файлов и пути пишуться в «Unicode», они не должны превышать 32 килобайта, то есть название файла можно указывать в 30 тысяч знаков.
Защита от отключения питания. Допустим вы прописываете новое имя файла (или другие метаданные), пропало электричество и вы не успели их сохранить. В «NTFS» — файл будет поврежден, так как вы меняете метаданные напрямую. Но «ReFS» всего лишь делает копию метаданных, и не меняет основные пока не произойдет сохранение, особенность работы функции «Copy-on-write».
Технология «Storage Spaces» — это функция виртуализации носителей. Она позволяет создать единое пространство из нескольких физических дисков на одном ПК или нескольких по локальной сети. Также есть возможность настроить «зеркалирование» как RAID массивах.
Отличия от NTFS
«ReFS» изначально создана для поддержки больших объемов разделов, файлов, каталогов и их имен. Новая ФС может включать до двести шестидесяти двух тысяч эксабайт информации, а «NTFS» — только шестнадцать эксабайт.
Еще, в ней отсутствуют функции шифрования, сжатия, дедупликации, дисковые квоты, жесткие ссылки и расширенные атрибуты. Некоторые из них заменены на новые, например, «ReFS» полностью поддерживает шифрование «BitLocker».
Сейчас, в файловую систему «ReFS» вы сможете отформатировать только пул дисков (пространство хранения), где новая ФС покажет себя во всей красе. Но Windows 10 не разрешит отформатировать обычный носитель в «ReFS». Разработчики подчеркивают значение «ReFS» именно для серверов, она доступна на серверных ОС или в «LTSC» версии.
ОС Windows Server 2016 позволит отформатировать обычные тома в «ReFS», но не позволит отформатировать загрузочный диск, потому что загрузочный сектор должен быть на «NTFS» разделе.
Архитектура файловой системы
Структур ReFS значительно отличается от всех остальных файловых систем для Windows. Главными структурными элементами выступают «B+ деревья». Они бывают одноуровневыми (как листья) и многоуровневыми (как деревья). Это обуславливает хорошее масштабирование, для каждого элемента, входящего в структуру ФС. Эта схема, а также 64-битная адресация каждого элемента, делают невозможным проблемы при ее дальнейшем увеличении.
Как корневая запись B+дерева, остальные записи имеют такой же объем в 16 кб, для блока метаданных. Размер в 60 байт — выделен для промежуточных (адресных) узлов. Следовательно, для правильного описания масштабных структур хранения потребуется малое количество уровней. Это позволило увеличить производительность ФС, по сравнению с другими.
Структура файловой системы ReFS
«ReFS» можно определить по специфической сигнатуре, которая расположена в начале раздела:
0x4000 байт — длина всех страниц ReFS.
Номер первой страницы — 0x1e, то есть 0x78000 байт которые идут сразу за загрузочным разделом. Это стандартное отображение Microsoft, которое информирует, что первые метаданные нужно искать после фиксированного смещения.
Алгоритм поиска удаленных данных
Утилиты для восстановления данных выполнят полное сканирование дискового пространства, отформатированного под «ReFS», используя алгоритм анализа по сигнатурам. Проверяя диск блок за блоком, они обнаружат готовые последовательности данных, определят их и выведут результаты. Так как API для работы с дисками для «ReFS» и «NTFS» одинаковы, то и процессы восстановления данных предельно схожи.
Сначала определяется «Volume Header», в нем записано количество секторов на кластер и какой объем сектора. Основная версия лежит в нулевом секторе, а копия расположена в последнем. Далее считывается «Superblock», он расположен в 30-ом блоке и также есть 2 копии во втором и третьем блоке в конце. Из него, извлекается ссылки на «чекпоинт» и его копию, определяется его последняя актуальная версия по «Virtual Allocated Clock».
Checkpoint содержит информацию об основных таблицах, далее считываются заголовки «Page Header» и блоки с указателями (Pointers) на полный список таблиц. Потом ищется «Container Table» для получения физических адресов из виртуальных, и выполняется поиск по «Object ID Table» — все таблицы найдены.
Утилиты доходят до нулевых уровней — то есть «листов b-дерева», и считывают данные файлов. Так как поиск ведется постранично, то если есть сбои — эти элементы просто исключаются из анализа, а сам процесс сканирования идет дальше. Таким образом утилиты для восстановления данных находят всю информацию, которую возможно «достать» с диска.
Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике.
Вы сталкивались с терминами «NTFS» или «FAT32»? Даже если вы этого не сделали, в тот или иной момент каждый пользователь Windows сталкивался с сообщением об ошибке «файл слишком велик для целевой файловой системы».
Это сообщение об ошибке может быть не по вине вашего флеш-накопителя. Возможно, ваша флешка отформатирована с неправильной файловой системой.
Прочтите, чтобы узнать больше о файловых системах и узнать, какие файловые системы лучше всего подходят для Windows 10.
Что такое файловые системы?
Файловые системы представляют, как данные хранятся на устройстве хранения. Это части программного обеспечения, которые помогают ОС организовывать данные и более эффективно использовать пространство.
Чтобы лучше понять файловые системы, представьте, что у вас есть хорошо организованный шкаф.
В шкафу есть разные отделения для разных вещей. Есть место для рубашек, место для обуви и место для брюк. Вы так хорошо знаете организацию, что, принося домой новую рубашку, знаете, где ее спрятать в шкафу.
Это именно то, что файловые системы делают с вашими данными. Когда вы храните что-то, будь то фильм или видеоигра, на устройстве хранения, компьютер знает, куда будет помещен файл, благодаря файловой системе. Файловые системы поддерживают все в порядке и минимизируют потерю места для хранения за счет логической организации данных.
В разных операционных системах используются разные файловые системы. Например, Windows использует NTFS, а Mac требует, чтобы внутренние запоминающие устройства были отформатированы в Mac OS Extended File System или HFS +.
Кроме того, внешние устройства хранения, такие как флэш-накопители и SD-карты, часто форматируются в FAT32 или exFAT.
Таблица размещения файлов (FAT) существует с 1977 года. Изначально FAT использовалась для дискет. Windows начала использовать FAT с DOS и несколькими ранними версиями Windows.
За прошедшие годы FAT претерпела множество серьезных изменений, таких как увеличение максимально поддерживаемых размеров разделов и файлов. Самая известная версия FAT — это FAT32, которая до сих пор используется почти для всех флеш-накопителей малой емкости.
Итак, если у вас есть флеш-накопитель или SD-карта объемом 4, 16 или 32 ГБ, более чем вероятно, что производитель отформатировал их в FAT32. Именно здесь возникает ошибка «Файл слишком большой для файловой системы назначения».
FAT32 не поддерживает файлы размером более 4 ГБ. Другими словами, если вы хотите перенести на флешку FAT32 полнометражный фильм 4K, вы получите вышеупомянутую ошибку.
FAT32 также не поддерживает объем памяти более 32 ГБ.
Тем не менее, FAT32 по-прежнему остается наиболее широко используемой файловой системой из-за ее широкой совместимости с ОС. Он просто работает со всем, от Windows до Linux.
Итак, если у вас есть флэш-накопитель с объемом памяти менее 32 ГБ, отформатируйте его с помощью FAT32.
Связанный: Как отформатировать SD-карту на вашем Mac
Файловая система новой технологии (NTFS)
Microsoft разработала файловую систему новой технологии (NTFS) в 1993 году, чтобы преодолеть ограничения FAT32. Например, если FAT32 поддерживает максимальный размер файла 32 ГБ, NTFS поддерживает максимальный размер файла 16 ЭБ (эксабайт).
Чтобы помочь вам представить, насколько массивен 1EB, типичный HD-фильм составляет 1 ГБ. Вы можете сохранить около 1000 таких фильмов на жестком диске емкостью 1 ТБ. И вы можете хранить 1000000 ТБ на жестком диске емкостью 1 ЕБ.
Итак, NTFS поддерживает практически неограниченный максимальный размер файла. NTFS также имеет ряд других преимуществ по сравнению с FAT32.
Во-первых, NTFS может отслеживать изменения, внесенные в файл. В случае внезапного отключения электроэнергии или повреждения файла NTFS предотвращает потерю данных.
Во-вторых, NTFS также поддерживает шифрование и разрешение только на чтение для файлов. Таким образом, вы можете зашифровать свои файлы паролем или установить для них статус только для чтения, чтобы предотвратить любые изменения.
Все эти функции делают NTFS предпочтительной файловой системой для Windows. Более того, Windows может быть установлена только на диск, отформатированный в NTFS.
К сожалению, старые версии Windows и старые дистрибутивы Linux не поддерживают NTFS. А macOS поддерживает NTFS только как файловую систему только для чтения.
Итак, если вы хотите установить Windows на накопитель, например, на флешку, отформатируйте его в NTFS, в противном случае используйте FAT32 или exFAT.
Расширенная таблица размещения файлов (exFAT)
Microsoft представила расширенную таблицу размещения файлов (exFAT) в 2006 году. Она была предназначена для замены FAT32 на флэш-накопителях большой емкости и SD-картах.
exFAT устраняет ограничения FAT32 на размер файла, сохраняя при этом отличную совместимость с ОС. Он поддерживает максимальный размер файла 16EB. Другими словами, в отличие от FAT32, вы не столкнетесь с ошибкой, если передадите файл размером 4 ГБ или больше.
Наконец, поскольку он поддерживает неограниченную максимальную емкость файла и совместим с широким спектром операционных систем, exFAT является файловой системой по умолчанию для карт SDXC, которые вы используете в камерах.
Другими словами, все карты SDXC имеют формат exFAT.
Итак, если у вас есть флэш-накопитель большой емкости объемом 32 ГБ или больше (или SD-карта), отформатируйте его с помощью exFAT.
Форматирование флэш-накопителя с файловой системой exFAT
Прежде чем форматировать флешку, помните, что при форматировании все данные о погружении стираются. Итак, сделайте резервную копию ваших данных, прежде чем продолжить.
Чтобы отформатировать флешку с файловой системой exFAT, подключите ее к компьютеру. Щелкните правой кнопкой мыши значок диска и выберите «Форматировать» в раскрывающемся списке.
Когда появится поле «Форматировать диск», нажмите «Файловая система» и выберите из списка exFAT. Выберите «Быстрое форматирование» в разделе «Параметры формата», если он еще не выбран.
Наконец, нажмите «Пуск», а затем «ОК».
Файловые системы упорядочивают данные, но нет стандартных
Файловые системы организуют данные, но в отрасли нет стандартов. Разные операционные системы предпочитают разные файловые системы. Если вы ежедневно используете различные операционные системы, лучше придерживаться стандартных, рекомендованных производителем.
С другой стороны, бывают случаи, когда компании ошибаются. Так что не бойтесь возиться с разными файловыми системами, если считаете, что они могут изменить ваш рабочий процесс.
Содержание
- Строение файловой системы ReFS и алгоритм восстановления данных
- Особенности «ReFS»
- Отличия от NTFS
- Архитектура файловой системы
- Структура файловой системы ReFS
- Алгоритм поиска удаленных данных
- Как отключить или включить ReFS или Resilient File System в Windows 10
- Особенности отказоустойчивой файловой системы
- Какую файловую систему использует Windows 10?
- Включить файловую систему ReFS в Windows 10
- Оценка производительности файловой системы ReFS на HDD в Windows 10
- реклама
- реклама
- реклама
- реклама
Строение файловой системы ReFS и алгоритм восстановления данных
«ReFS» (Resilient File System) – это новая файловая система от Microsoft, которая создавалась как замена «NTFS». У нее есть несколько солидных преимуществ, а именно, разработчики исправили все ошибки «NTFS». Она гораздо больше защищена от повреждения информации, она лучше переносит возросшую нагрузку, а также масштабируется гораздо проще.
Особенности «ReFS»
Контрольные суммы теперь используются для метаданных по умолчанию, также их применяют и к данным отдельных файлов. Так, в процессе чтениязаписи, осуществляется верификации «на лету». Когда ФС обнаружит повреждение файлов, то моментально удалит записи без перезагрузки компьютера. То есть, «ReFS» теперь самостоятельно себя корректирует при появлении ошибок.
«ReFS» обеспечивает более высокую надежность сохранения информации, по сравнению со старой ФС. Для хранения файлов и метаданных используются «B+-деревья». Размеры, количество разделов и файлов теперь ограничены максимальным 64-битным значением. Пустое пространство хранится в трех разных таблицах, разбитых по объемам фрагментов (малых, средних, больших). Названия файлов и пути пишуться в «Unicode», они не должны превышать 32 килобайта, то есть название файла можно указывать в 30 тысяч знаков.
Защита от отключения питания. Допустим вы прописываете новое имя файла (или другие метаданные), пропало электричество и вы не успели их сохранить. В «NTFS» — файл будет поврежден, так как вы меняете метаданные напрямую. Но «ReFS» всего лишь делает копию метаданных, и не меняет основные пока не произойдет сохранение, особенность работы функции «Copy-on-write».
Технология «Storage Spaces» — это функция виртуализации носителей. Она позволяет создать единое пространство из нескольких физических дисков на одном ПК или нескольких по локальной сети. Также есть возможность настроить «зеркалирование» как RAID массивах.
Отличия от NTFS
«ReFS» изначально создана для поддержки больших объемов разделов, файлов, каталогов и их имен. Новая ФС может включать до двести шестидесяти двух тысяч эксабайт информации, а «NTFS» — только шестнадцать эксабайт.
Еще, в ней отсутствуют функции шифрования, сжатия, дедупликации, дисковые квоты, жесткие ссылки и расширенные атрибуты. Некоторые из них заменены на новые, например, «ReFS» полностью поддерживает шифрование «BitLocker».
Сейчас, в файловую систему «ReFS» вы сможете отформатировать только пул дисков (пространство хранения), где новая ФС покажет себя во всей красе. Но Windows 10 не разрешит отформатировать обычный носитель в «ReFS». Разработчики подчеркивают значение «ReFS» именно для серверов, она доступна на серверных ОС или в «LTSC» версии.
ОС Windows Server 2016 позволит отформатировать обычные тома в «ReFS», но не позволит отформатировать загрузочный диск, потому что загрузочный сектор должен быть на «NTFS» разделе.
Архитектура файловой системы
Структур ReFS значительно отличается от всех остальных файловых систем для Windows. Главными структурными элементами выступают «B+ деревья». Они бывают одноуровневыми (как листья) и многоуровневыми (как деревья). Это обуславливает хорошее масштабирование, для каждого элемента, входящего в структуру ФС. Эта схема, а также 64-битная адресация каждого элемента, делают невозможным проблемы при ее дальнейшем увеличении.
Как корневая запись B+дерева, остальные записи имеют такой же объем в 16 кб, для блока метаданных. Размер в 60 байт — выделен для промежуточных (адресных) узлов. Следовательно, для правильного описания масштабных структур хранения потребуется малое количество уровней. Это позволило увеличить производительность ФС, по сравнению с другими.
Структура файловой системы ReFS
«ReFS» можно определить по специфической сигнатуре, которая расположена в начале раздела:
0x4000 байт — длина всех страниц ReFS.
Номер первой страницы — 0x1e, то есть 0x78000 байт которые идут сразу за загрузочным разделом. Это стандартное отображение Microsoft, которое информирует, что первые метаданные нужно искать после фиксированного смещения.
Алгоритм поиска удаленных данных
Утилиты для восстановления данных выполнят полное сканирование дискового пространства, отформатированного под «ReFS», используя алгоритм анализа по сигнатурам. Проверяя диск блок за блоком, они обнаружат готовые последовательности данных, определят их и выведут результаты. Так как API для работы с дисками для «ReFS» и «NTFS» одинаковы, то и процессы восстановления данных предельно схожи.
Сначала определяется «Volume Header», в нем записано количество секторов на кластер и какой объем сектора. Основная версия лежит в нулевом секторе, а копия расположена в последнем. Далее считывается «Superblock», он расположен в 30-ом блоке и также есть 2 копии во втором и третьем блоке в конце. Из него, извлекается ссылки на «чекпоинт» и его копию, определяется его последняя актуальная версия по «Virtual Allocated Clock».
Checkpoint содержит информацию об основных таблицах, далее считываются заголовки «Page Header» и блоки с указателями (Pointers) на полный список таблиц. Потом ищется «Container Table» для получения физических адресов из виртуальных, и выполняется поиск по «Object ID Table» — все таблицы найдены.
Утилиты доходят до нулевых уровней — то есть «листов b-дерева», и считывают данные файлов. Так как поиск ведется постранично, то если есть сбои — эти элементы просто исключаются из анализа, а сам процесс сканирования идет дальше. Таким образом утилиты для восстановления данных находят всю информацию, которую возможно «достать» с диска.
Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике.
Источник
Как отключить или включить ReFS или Resilient File System в Windows 10
С тех пор, как запоминающие устройства вошли в игру, потребность в дисковом пространстве увеличилась в геометрической прогрессии. В наши дни распространены даже мульти-терабайты накопителей. Следовательно, потребность в постоянно надежной структуре продолжала возникать одновременно. ReFS имеет архитектуру, которая хорошо работает с чрезвычайно большими наборами данных без какого-либо влияния на производительность. В этом руководстве мы увидим, как включить или отключить файловую систему ReFS в Windows 10 и попытаться отформатировать диск, используя его, но перед этим давайте рассмотрим некоторые ключевые функции этой величественной файловой системы.
В этой статье мы поговорим о функциях отказоустойчивой файловой системы и узнаем, как включить или отключить файловую систему ReFS в операционной системе Windows Server, а также попробуем отформатировать диск, использующий эту файловую систему.
Особенности отказоустойчивой файловой системы
Масштабируемость при растяжении: Требования к увеличению объема и размера данных постоянно растут в связи с изменяющейся технологией. ReFS предлагает возможность бросать вызов чрезвычайно большим наборам данных и работать с ними без проблем с производительностью.
Какую файловую систему использует Windows 10?
Если это стандартная установка по умолчанию, ОС использует структуры NTFS. При сбое операционной системы Windows 10 с включенным дисковым пространством это файловые системы ReFS + NTFS.
Включить файловую систему ReFS в Windows 10
Теперь, когда вы знаете, что ReFS появился, чтобы справиться с ограничениями файловой системы NTFS, давайте посмотрим, как вы можете включить его в своей системе Windows 10 и использовать его для форматирования внешнего диска.
Прежде чем приступить к изменениям, обязательно создайте точку восстановления системы. Если в будущем возникнет какая-либо проблема, вы можете использовать эту точку восстановления для отката изменений.
1. Нажмите Windows Key + R на клавиатуре, чтобы запустить приглашение «Выполнить». Введите regedit.exe и нажмите Enter, чтобы открыть редактор реестра.
2. Перейдите по указанному ниже пути на левой боковой панели редактора реестра.
HKEY_LOCAL_MACHINE SYSTEM CurrentControlSet Control FileSystem
4. Далее, перейдите к указанному ниже пути на левой боковой панели.
HKEY_LOCAL_MACHINE SYSTEM CurrentControlSet Control MinInt
5. Если ключ MiniNT не существует, его можно создать, щелкнув правой кнопкой мыши> Создать> Ключ.
6. Выйдите и войдите снова, чтобы изменения вступили в силу. Теперь вы можете подключить внешнее устройство и выбрать файловую систему ReFS для его форматирования. Кроме того, вы можете открыть лист Свойства любого диска, чтобы увидеть, с какой файловой системой он связан.
Вы можете прочитать больше о ReFS или Resilient File System на Technet.
Источник
Оценка производительности файловой системы ReFS на HDD в Windows 10
реклама
Введение
В этом тестировании мы оценим скорость работы файловой системы ReFS на жестких дисках, поскольку для них внедренные в ФС возможности представляют большую ценность. В одном из обновлений Microsoft исключила из Windows 10 возможность форматирования разделов в ReFS, поэтому для этой цели мы воспользуемся свободной утилитой mkrefs. Для тестирования в конце дискового пространства был выделен раздел объемом 8 ГБ. Производились операции копирования на HDD и чтения с него музыкальных файлов, изображений, видеороликов, а также ISO-образа. Кроме того запускались тесты CrystalDiskMark. Для построения графиков использовался табличный процессор LibreOffice Calc, входящий в состав свободного офисного пакета LibreOffice.
реклама
Характеристики тестовой системы:
Результаты тестов:
реклама
CrystalDiskMark 5.5.0 x64, последовательное чтение (МБайт/с)
реклама
CrystalDiskMark 5.5.0 x64, последовательная запись (МБайт/с)
CrystalDiskMark 5.5.0 x64, случайное чтение (МБайт/с)
CrystalDiskMark 5.5.0 x64, случайная запись (Мбайт/с)
Запись 1000 mp3 файлов (6,34 ГБ), с
Запись 10000 изображений (3,39 ГБ), с
Запись 50 видеороликов (4,5 ГБ), с
Запись ISO-образа (2,3 ГБ), с
Чтение 1000 mp3 файлов (6,34 ГБ), с
Чтение 10000 изображений (3,39 ГБ), с
Чтение 50 видеороликов (4,5 ГБ), с
Чтение ISO-образа (2,3 ГБ), с
Заключение
Безусловно, файловая система ReFS является большим шагом вперед, по сравнению с NTFS с точки зрения отказоустойчивости. Однако, с точки зрения производительности не все так гладко. ReFS опережает NTFS при работе со множеством мелких файлов и при чтении файлов большого объема, а NTFS, в свою очередь, лидирует при работе с файлами среднего размера и при записи больших файлов.
Таким образом, можно сказать, что файловая система ReFS определенно имеет свои преимущества и ее применение в определенных случаях не только является оправданным, но и даже рекомендуемым. Да, в настоящий момент ReFS еще не так распространена, как хотелось бы, но, возможно, в будущем, ее производительность повысится, добавится новый функционал и расширится существующий, и она не только обретет бо́льшую известность, но и заменит собой NTFS.
Источник
Появившуюся ещё в 2012 году новую файловую систему REFS сразу же окрестили как «убийца NTFS». Сегодня я хочу подробно рассказать о ней, о её основных преимуществах и недостатках.
Аббревиатура ReFS расшифровывается, как Resilient File System, что можно перевести на русский примерно как «Устойчивая» файловая система. Её кодовое имя во время разработки и тестирования было Protogon. Раньше эту файловую систему можно было встретить у серверных операционных систем от Microsoft — Windows Server (Semi-Annual Channel), Windows Server 2016, Windows Server 2012 R2, Windows Server 2012. А вот совсем недавно она даже появилась в обычных настольных версиях Windows 10. Начиная с версии Creators Update ее можно использовать для любых дисков.
Нельзя называть новую REFS полноправным приемником устаревшей уже NTFS. Часть функций она конечно позаимствовала, но кроме того она обрела и новый функционал. Стоит иметь ввиду, что полный потенциал REFS можно полностью раскрыть только при использовании функции «Дисковое пространство» (Storage Spaces). Хотя часть специалистов считает, что определённую пользу она может принести и на одиночном накопителе.
Производительность и скорость
Вообще, ReFS разрабатывалась не для повышения производительности файловой системы по сравнению, например, с той же старой доброй NTFS. Хотя в строго определённых случаях она значительно эффективнее и производительнее.
Например, если использовать её с функцией «Дисковое пространство», то ReFS может выполнять «оптимизацию в режиме реального времени». То есть, если у вас пул накопителей с двумя дисками, то один обеспечивает максимальную производительность, а другой будет использоваться для объема. ReFS будет записывать данные на более быстрый диск, обеспечивая максимальную производительность.
В фоновом режиме файловая система автоматически будет перемещать большие куски данных для продолжительного хранения на те диски, которые медленнее.
К сожалению, большинство подобных моментов связаны с серверными возможностями и обычному пользователю Windows 10 вряд ли будут интересны. Например, четность с зеркальным ускорением позволяет эффективно хранить данные на томе, используя многоуровневое хранилище.
Клонирование блоков обеспечивает значительный прирост производительности при слиянии виртуальных машин.
Разреженный метод «редкого VDL» позволяет мгновенно создать фиксированные файлы виртуального жесткого диска фиксированного размера (VHD). В NTFS эта операция занимает в среднем 5-10 минут, а в ReFS эта же операция займёт всего несколько секунд.
Надёжность и отказоустойчивость
REFS максимально защищена от сбоев. В случае с простым томом файловая система использует контрольные суммы для метаданных, а также может использовать контрольные суммы и для данных файла. Перед каждой операцией чтения/записи, данные проверяются на наличие ошибок и корректируются при необходимости в режиме реального времени. Кстати, из-за встроенных проверок ReFS не требует регулярного использования утилит проверки диска типа CHKDSK и если вы всё-таки попробуете это сделать, то получите ошибку. Возникает логичный вопрос — а вообще какая-то проверка проводится? Да, один раз в четыре недели запускается задача, которая в фоновом режиме сканирует том на наличие повреждений и, если такие обнаруживаются, то исправляются на лету.
ReFS отлично работает с функцией «Дисковое пространство». Стоит правильно настроить зеркальное хранилище данных и после этого ReFS в Windows будет внимательно следить за данными. Если обнаружит и повреждение файловой системы, то автоматически устранит их, скопировав данные с другого диска. Но вот если поврежденные данные не имеют альтернативной копии для восстановления — ReFS сразу же удалит эти данные с диска.
Ещё одна классная «фишка» — потоки целостности. По умолчанию в РЕФС потоки целостности включены только для метаданных, что позволяет держать файловую систему в непротиворечивом состоянии. Однако, при необходимости, Вы можете включить потоки целостности для всего тома или выбранных файлов/папок. В этом случае REFS гарантирует, что считанные данные являются тем, что Вы когда-то записали. Если контрольная сумма не совпадёт — REFS мгновенно сообщит об ошибке и удалит файл. Это будет сигналом к восстановлению файла из резервной копии.
В тех случаях, когда потоки целостности для данных включены у тома с избыточностью: RAID, чётность, двухстороннее или трехстороннее зеркало и т.п. При таком раскладе, REFS при обнаружении ошибки контрольной суммы будет пробовать восстановить данные.
REFS и NTFS — сходства и различия
Давайте теперь взглянем на функции новой операционной системы REFS — чем она похожа на NTFS, а в чём есть существенные отличия.
Основные преимущества REFS
— Максимальный размер тома — 262144 экзабайта (в NTFS — 16 экзабайт)
— Максимальная длина пути к файлу — 32768 символов (в NTFS — 255)
— Максимальное число файлов в каталоге — 18 446 744 073 709 551 616
— Максимальное число каталогов в томе — 18 446 744 073 709 551 616
— Максимальный размер любого пула носителей — 4 ПБ
— Максимальное число пулов носителей в системе — Не ограничено
— Максимальное число пространств в пуле носителей — Не ограничено
— Благодаря использованию B+-деревьев для хранения данных поиск по системе происходит значительно быстрее
— Улучшенная защита от потери данных
Общие функции в NTFS и REFS
— Символические ссылки
— Точки соединения
— Точки подключения
— Точки повторного анализа
— Шифрование BitLocker
— Offloaded Data Transfer (ODX)
— Trim/Unmap
— Дедупликация данных (Windows Server, v.1709 и позже)
— Поддержка общих томов кластера
— Поддержка отказоустойчивого кластера
— Списки управления доступом
— Журнал USN
— Уведомления об изменениях
— Моментальные снимки томов
— Идентификаторы файлов
— Нежесткая блокировка
— Разреженные файлы
— Именованные потоки
— Тонкая подготовка
Функции NTFS которых нет в REFS
В зависимости от версии, полный функционал файловой системы REFS может отличаться. Что-то может появится, что-то могут убрать. Это нормально. Я приведу тот список отсутствующих функций REFS, которых нет на конец 2018 года. Возможно позднее ситуация изменится.
— Сжатие файловой системы
— Короткие имена
— Дисковые квоты
— Жесткие ссылки
— Шифрование файловой системы (EFS)
— Транзакции
— Идентификаторы объектов
— Расширенные атрибуты
— Загрузка операционной системы
— Поддержка файла подкачки
— Поддержка съемных дисков
Совместимость REFS с операционными системами
На текущий момент файловая система ReFS существует в нескольких разных версиях, соответственно и совместимость между операционными системами отличается. Как правило, более новые версии операционных систем могут монтировать файловые системы, созданные с помощью более ранних версий ОС, а вот обратная совместимость не всегда работает. Некоторые функции могут быть несовместимы с набором функций операционной системы. Версия, размер кластера и другие особенности файловой системы можно посмотреть с помощью команды
fsutil fsinfo refsinfo volumename
Вот как-то так. Пока на этом всё, по возможности буду стараться дополнять статью последними данными.