I have a 10M folders. Each folder contains 13 files.
All these folders I would like to put in one main folder (root).
Is there any limitation in Windows Server for that?
phuclv
24.7k13 gold badges105 silver badges219 bronze badges
asked Feb 7, 2021 at 15:59
15
As far the theoretical capacities of NTFS are concerned, there is no problem.
The Microsoft article on
Maximum Sizes on an NTFS Volume
specifies that the maximum of files per volume is 4,294,967,295,
and that should also be the maximum on folders.
However, you would need an extremely fast computer with lots of RAM to be able
to even view that folder in Explorer.
From my own experience, on a good computer of several years ago, viewing a folder
with thousands of sub-folders took some dozen of seconds just to show the folder.
I have no idea what would happen with 10 million sub-folders, but surely you
would need a lot of patience even if the computer could handle it. Eventually.
I really suggest to rethink again your folder architecture.
answered Feb 7, 2021 at 16:55
11
This may be an X/Y problem. Perhaps what you are doing is better suited for a database rather than a filesystem. With a database, you can easily store and access many millions of records quickly and efficiently. The accepted answer is correct in saying NTFS is theoretically able to store this many records, but it won’t be very fast. This is true for essentially all filesystems (e.g. NTFS, exFAT, ext4, HFS…). They simply aren’t designed to be sufficiently scalable for what you’re trying to do.
One of the main reasons for this is that most operating systems’ filesystem API can only return the entire list of directory entries at once. There is no way to retrieve only directories that match a certain pattern in typical filesystems, for example. It would have to retrieve them all and then parse the (massive) output for the names you want. The same is true with other file/directory attributes in addition to name like size, creation and modification time, etc. This isn’t the case with databases.
answered Feb 8, 2021 at 1:03
forestforest
1,3347 silver badges19 bronze badges
17
I have a 10M folders. Each folder contains 13 files.
All these folders I would like to put in one main folder (root).
Is there any limitation in Windows Server for that?
phuclv
24.7k13 gold badges105 silver badges219 bronze badges
asked Feb 7, 2021 at 15:59
15
As far the theoretical capacities of NTFS are concerned, there is no problem.
The Microsoft article on
Maximum Sizes on an NTFS Volume
specifies that the maximum of files per volume is 4,294,967,295,
and that should also be the maximum on folders.
However, you would need an extremely fast computer with lots of RAM to be able
to even view that folder in Explorer.
From my own experience, on a good computer of several years ago, viewing a folder
with thousands of sub-folders took some dozen of seconds just to show the folder.
I have no idea what would happen with 10 million sub-folders, but surely you
would need a lot of patience even if the computer could handle it. Eventually.
I really suggest to rethink again your folder architecture.
answered Feb 7, 2021 at 16:55
11
This may be an X/Y problem. Perhaps what you are doing is better suited for a database rather than a filesystem. With a database, you can easily store and access many millions of records quickly and efficiently. The accepted answer is correct in saying NTFS is theoretically able to store this many records, but it won’t be very fast. This is true for essentially all filesystems (e.g. NTFS, exFAT, ext4, HFS…). They simply aren’t designed to be sufficiently scalable for what you’re trying to do.
One of the main reasons for this is that most operating systems’ filesystem API can only return the entire list of directory entries at once. There is no way to retrieve only directories that match a certain pattern in typical filesystems, for example. It would have to retrieve them all and then parse the (massive) output for the names you want. The same is true with other file/directory attributes in addition to name like size, creation and modification time, etc. This isn’t the case with databases.
answered Feb 8, 2021 at 1:03
forestforest
1,3347 silver badges19 bronze badges
17
Вы можете поместить 4,294,967,295 файлов в одну папку, если диск отформатирован в NTFS (было бы необычно, если бы это было не так), при условии, что вы не превышаете 256 терабайт (размер одного файла и пространство) или все доступное дисковое пространство, в зависимости от того, что меньше.
Максимальный размер файла: 256 терабайт. Максимальное количество файлов на диске: 4,294,967,295 4,294,967,295 XNUMX XNUMX. Максимальное количество файлов в одной папке: XNUMX XNUMX XNUMX XNUMX.
Сколько папок можно хранить в папке?
5 ответов. См. Эту ссылку в Microsoft. Он предполагает, что нет ограничений на количество файлов в данной папке, пока количество файлов на любом заданном томе не превышает 4,294,967,295 32 XNUMX XNUMX (в NTFS), ссылка дает гораздо более низкие ограничения для FATXNUMX.
Какой максимальный размер файла в Windows 10?
NTFS может поддерживать тома размером до 8 петабайт в Windows Server 2019 и новее и Windows 10 версии 1709 и новее (более старые версии поддерживают до 256 ТБ). Поддерживаемые размеры томов зависят от размера кластера и количества кластеров.
Сколько файлов может быть в каталоге?
Максимальное количество файлов в каталоге: 216 — 1 (65,535 XNUMX)
Как ограничить размер папки в Windows 10?
Как настроить квоту на объем в Windows 10
- Откройте проводник (клавиша Windows + E).
- Щелкните по этому компьютеру.
- В разделе «Устройства и диски» щелкните правой кнопкой мыши диск, который нужно ограничить, и выберите «Свойства».
- Щелкните вкладку Quota.
- Нажмите кнопку Показать параметры квоты.
- Установите флажок Включить управление квотами.
10 ян. 2018 г.
Сколько подпапок можно создать в папке?
Таким образом, нет ограничений на количество уровней вложенности для папок. Однако максимальное количество подкаталогов в одном каталоге для ext3 ограничено примерно 32000.
Как мне организовать файлы и папки на моем компьютере?
Лучшие практики для организации компьютерных файлов
- Пропустите рабочий стол. Никогда не храните файлы на рабочем столе. …
- Пропустить загрузки. Не позволяйте файлам оставаться в папке «Загрузки». …
- Немедленно подайте документы в архив. …
- Сортируйте все раз в неделю. …
- Используйте описательные имена. …
- Поиск — это мощный инструмент. …
- Не используйте слишком много папок. …
- Придерживаться.
30 ночей. 2018 г.
Какая функциональность у папок в Windows?
Папки помогают хранить файлы организованными и отдельными. Если бы на вашем компьютере не было папок, все ваши документы, программы и файлы операционной системы были бы расположены в одном месте. Папки также позволяют иметь более одного файла с одним и тем же именем. Например, у вас может быть файл под названием Resume.
В чем разница между файлом и папкой?
Файл — это обычная единица хранения в компьютере, и все программы и данные «записываются» в файл и «читаются» из файла. Папка содержит один или несколько файлов, и папка может быть пустой, пока не будет заполнена. Папка также может содержать другие папки, и в папках может быть много уровней папок.
Какую файловую систему использует Windows 10?
Windows 10 использует файловую систему NTFS по умолчанию, как и Windows 8 и 8.1. Хотя в последние месяцы профессионалы ходили слухами о полном изменении новой файловой системы ReFS, последняя техническая сборка, выпущенная Microsoft, не привела к кардинальным изменениям, и Windows 10 продолжала использовать NTFS в качестве стандартной файловой системы.
Какой самый большой размер файла для exFAT?
Функции. Спецификации, функции и требования файловой системы exFAT включают в себя: Ограничение размера файла 16 эксбибайт (264-1 байта или около 1019 байтов, что в противном случае ограничено максимальным размером тома 128 ПиБ или 257-1 байтов) , увеличенный с 4 ГиБ (232-1 байт) в стандартной файловой системе FAT32.
Как передать файлы размером более 4 ГБ в FAT32?
К сожалению, нет возможности скопировать файл размером> 4 ГБ в файловую систему FAT32. И быстрый Google говорит, что ваша PS3 распознает только файловые системы FAT32. Единственный вариант — использовать файлы меньшего размера. Возможно, порежьте их на куски, прежде чем перемещать или сжимать.
Каков максимальный размер файла FAT32?
FAT32
| ограничения | |
|---|---|
| Максимум. размер файла | 2,147,483,647 байтов (2 ГиБ — 1) (без LFS) 4,294,967,295 байтов (4 ГиБ — 1) (с LFS) 274,877,906,943 байта (256 ГиБ — 1) (только с FAT32 +) |
| Детализация размера файла | 16 байт |
| Максимум. количество файлов | 268,173,300 32 XNUMX для кластеров XNUMX КБ |
Сколько файлов может содержать FAT32?
Максимальный размер каталога FAT32 составляет 65536 32-битных записей. Для файла потребуется как минимум 2 записи в зависимости от длины имени файла. Длинные имена файлов сохраняются в 16-битных символах UNICODE, и только тринадцать символов хранятся в каждой записи каталога. Следует избегать больших каталогов по соображениям производительности.
Сколько данных может вместить FAT32?
Размер отдельных файлов на диске FAT32 не может превышать 4 ГБ — это максимум. Раздел FAT32 также должен быть меньше 8 ТБ, что, по общему признанию, является меньшим ограничением, если вы не используете диски сверхвысокой емкости.
там нет практических ограничений на объединенные размеры всех файлов в папке, хотя могут быть ограничения на количество файлов в папке. Что еще более важно, существуют ограничения на размер отдельных файлов, которые зависят от того, какую файловую систему вы используете на жестком диске. («Файловая система» — это не что иное, как спецификация того, как именно файлы хранятся на диске.)
разберем по файловой системе:
•жир aka FAT16
жир, для таблицы распределения файлов, является преемником оригинальной файловой системы FAT12, поставляемой с MS-DOS много, много лет назад.
Maximum максимальный размер диска: 4 гигабайта
◦максимальный размер файла: 4 ГБ
◦максимальное количество файлов на диске: 65,517
Maximum максимальное количество файлов в одной папке: 512 (если я правильно помню, корневая папка «/» имела нижний предел 128).
•FAT32
» там нет практических лимит на общий размер всех файлов в папке, хотя там может быть ограничения на количество файлов в папке.»FAT32 был введен для преодоления некоторых ограничений FAT16.
◦максимальный размер диска: 2 ТБ
◦максимальный размер файла: 4 ГБ
◦максимальное количество файлов на диске: 268,435,437
◦максимальное количество файлов в одной папке: 65 534
•NTFS
NTFS, или » новая технология Файловая система», введенная в Windows NT, является полностью переработанной файловой системой.
◦максимальный размер диска: 256 терабайт
◦максимальный размер файла: 256 терабайт
◦максимальное количество файлов на диске: 4,294,967,295
◦максимальное число файлов в одной папке: 4,294,967,295
обратите внимание, что когда я говорю «диск» выше, я действительно говорю о «логических» дисках, не обязательно физических. Никто не делает 256 терабайт диск, но с помощью NTFS массив дисков можно рассматривать как один логический диск. Предположительно, если у вас их достаточно, вы можете построить огромный логический диск.
Также обратите внимание, что ограничение NTFS в 256 терабайт вполне может быть просто ограничение реализации — я читал, что формат NTFS может поддерживать диски до 16 эксабайт (16 раз 1,152,921,504,606,846,976 байт).
Source
|
309 / 309 / 215 Регистрация: 24.09.2013 Сообщений: 771 |
|
|
1 |
|
Максимальное количество файлов в папке17.01.2014, 14:32. Показов 11377. Ответов 3
Здравствуйте. От чего зависит максимальное количество файлов в папке для конкретной файловой системы. (Windows) Заранее спасибо.
0 |
|
Модератор
8364 / 3329 / 241 Регистрация: 25.10.2010 Сообщений: 13,536 |
|
|
17.01.2014, 16:53 |
2 |
|
От чего зависит максимальное количество файлов в папке для конкретной файловой системы. (Windows) Ну Windows это не файловая система, а операционная, которая работает с фс FAT(устаревшие версии) и NTFS
1 |
|
309 / 309 / 215 Регистрация: 24.09.2013 Сообщений: 771 |
|
|
19.01.2014, 21:40 [ТС] |
3 |
|
Под надписью (Windows) я подразумевал не название файловой системы, а то, что меня интересует файловая система, написанная под Windows.
0 |
|
Slim86r |
|
25.01.2014, 20:52
|
|
Не по теме: Persk, а что если попробовать скриптом создать 4,2 млрд пустых текстовиков? заодно и узнаем ответ
0 |
За последние 24 часа нас посетили 11723 программиста и 1225 роботов. Сейчас ищут 278 программистов …
-
ng0d
Активный пользователь- С нами с:
- 7 фев 2009
- Сообщения:
- 100
- Симпатии:
- 0
- Адрес:
- Латвия
Пользователь при загрузке своего фото, создаёт папку с названием своего ID, данная папка создаётся в папке uploads. Так как проект планируется быть популярным, задался вопросом, а ведь если будет более 100 тысяч пользователей с фото, это ведь 100 тысяч папок в папке uploads. Какое ограничение вложенных папок в папке на системе linux?
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
-
ng0d
Активный пользователь- С нами с:
- 7 фев 2009
- Сообщения:
- 100
- Симпатии:
- 0
- Адрес:
- Латвия
Я знаю как это переделать уже, но стоит ли, если пользователей не будет превышать 1-2 миллиона? Читал что один программёр создавал скриптом пол миллиона файлов в папке, при этом доступ к ним был довольно быстрый, это вообще реально?
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
зависит от файловой системы. но все равно рекомендуется не перегибать палку. добавь одно поле с папокой в два символа.
работает достаточно быстро
substr(’00’ . base_convert(rand(0, 1295), 10, 36), -2);
выдает 00-zz -
ng0d
Активный пользователь- С нами с:
- 7 фев 2009
- Сообщения:
- 100
- Симпатии:
- 0
- Адрес:
- Латвия
А как это понимать, Битрикс делают не профессионалы?
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
=) дахз сколько там было посещений
-
[offtop]Я когда в универе учился, любил ставить «эксперименты» с папками и файлами. Открывается любая папочка, в ней создается файлик, а дальше, не отпуская кнопочки crtl, жмем по очереди a, c, v, пока комп не подвиснет. Очень забавно было. А еще соседу по парте, когда он отвлечется, можно было зажать на клавиатуре win+f1. Тоже весело получалось[/offtop]
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
-
Апельсин
Активный пользователь- С нами с:
- 20 мар 2010
- Сообщения:
- 3.645
- Симпатии:
- 2
Более чем 1000-1500 файлов/каталогов в текущем каталоге — это плохо. Нужно дробить на подкаталоги по начальной букве названия каталога (а-яa-z), по дате, по ID и пр.
-
ng0d
Активный пользователь- С нами с:
- 7 фев 2009
- Сообщения:
- 100
- Симпатии:
- 0
- Адрес:
- Латвия
Я уже переделал структуру. Ссылка выглядит теперь вот так http://мой_сайт/intval(ид_юзера / 1000)/ид_юзера/фото.jpg
-
AndreJM
Активный пользователь- С нами с:
- 25 янв 2012
- Сообщения:
- 522
- Симпатии:
- 0
А зачем ид_юзера дублировать?
-
ng0d
Активный пользователь- С нами с:
- 7 фев 2009
- Сообщения:
- 100
- Симпатии:
- 0
- Адрес:
- Латвия
Дублирования нет. intval(ид_юзера / 1000) при ид юзера меньше 1000, будет 0, а папка с 0 содержит 1000 папок пользователей, как только юзер имеет ид больше чем 1000, intval(ид_юзера / 1000) будет 1, а в этой папке так-же будут 1000 пользователей, но другие и т.д. Таким методом можно спокойно работать с миллионом пользователей.
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
база данных — наш друг. =)
-
AndreJM
Активный пользователь- С нами с:
- 25 янв 2012
- Сообщения:
- 522
- Симпатии:
- 0
Прямой доступ к файлам быстрее =) (в контексте темы)
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
не, я не предлагаю фигачить файло в базу.
-
Команда форума
Модератор- С нами с:
- 15 мар 2007
- Сообщения:
- 9.901
- Симпатии:
- 968
общее кол-во каталогов/файлов/ссылок — зависит от размера файловой системы. например, у меня на 183гб разделе ext4 12.2млн нодов можно сделать.
а для каталога — беглый гугл дал лимит 32к нодов для ext3 без патча ядра (википедия) -
/uploads/0/1/2/3/4/01234.jpg
-
пых-пых
Активный пользователь- С нами с:
- 26 июл 2012
- Сообщения:
- 7
- Симпатии:
- 0
в описании файловой системы всегда указывается какое количество и размеры файлов они поддерживают
дробите по нодам, по годам, месяцам и т.д.тормозить не будет ни 1 тыс, ни 10 тыс, ни 100тыс если не запрашивать листинг директории, при прямом обращении к папке юзера проблем не будет если сам юзер не загрузит 100тыс файлов
-
Команда форума
Модератор- С нами с:
- 18 мар 2010
- Сообщения:
- 32.415
- Симпатии:
- 1.768
да, но люди по факту — жалуются.
Практически нет ограничений на объединенные размеры всех файлов в папке, хотя могут быть ограничения на количество файлов в папке. Что еще более важно, существуют ограничения на размер отдельного файла, который зависит от того, какую файловую систему вы используете на жестком диске. («Файловая система» — это не что иное, как спецификация того, как именно файлы хранятся на диске.)
Давайте разберем это по файловой системе:
• FAT aka FAT16
FAT, для таблицы размещения файлов, является преемником оригинальной файловой системы FAT12, которая поставлялась с MS-DOS много, много лет назад.
DiskМаксимальный размер диска: 4 гигабайта
FileМаксимальный размер файла: 4 гигабайта
Максимальное количество файлов на диске: 65 517
◦Максимальное количество файлов в одной папке: 512 (если я правильно помню, корневая папка «/» имела нижний предел 128).
• FAT32
«Практически нет ограничений на объединенные размеры всех файлов в папке, хотя могут быть ограничения на количество файлов в папке». FAT32 был введен для преодоления некоторых ограничений FAT16.
ImumМаксимальный размер диска: 2 терабайта
FileМаксимальный размер файла: 4 гигабайта
Максимальное количество файлов на диске: 268 435 437
Максимальное количество файлов в одной папке: 65 534
• NTFS
NTFS, или «Новая технология файловой системы», представленная в Windows NT, является полностью переработанной файловой системой.
ImumМаксимальный размер диска: 256 терабайт
ImumМаксимальный размер файла: 256 терабайт
Максимальное количество файлов на диске: 4 294 967 295
Максимальное количество файлов в одной папке: 4 294 967 295
Обратите внимание, что когда я говорю «диск» выше, я действительно говорю о «логических» дисках, не обязательно физических. Никто не создает диск объемом 256 терабайт, но с помощью NTFS массив дисков можно рассматривать как один логический диск. Предположительно, если их у вас достаточно, вы можете построить огромный логический диск.
Также обратите внимание, что ограничение NTFS в 256 терабайт может быть просто ограничением реализации — я читал, что формат NTFS может поддерживать диски объемом до 16 эксабайт (16 раз по 1 152 921 504 606 846 976 байт).
Источник