2 с127
Продолжайте и дальше болтать языком в том же духе.
Товарисч с127, а Вы продолжайте и дальше не замечать уже трижды написанного - обещанных тормозов в Вашем любимом фаре не наблюдалось :))
Ни на "нескольких сотнях файлов" (с) с127, ни на нескольких тысячах не наблюдалось "жести" (с) mv, ни даже на десятках тысяч (с) DocAI.

Разумеется, откуда ж им взяться, ведь тест на выбор файлов так и не проведен.
Кажется Вы тоже молча замолчали вопрос "Какие Ваши цифры", но тем не менее с жизнерадостностью дибила продолжаете утверждать, что "будут тормоза, вах, абасраццо и не жить будут тормоза" :)

Кстати, с127, меня почему-то преследует мысль, что Вы просто врёте. Нагло и банально.

Посудите сами. Топику уже неделя. За это время можно было сто раз написать простейший тест, который бы показал, что (например) поиск в ста файлах - секунда, поиск в двухстах файлах - две секунды, поиск в трехстах файлах - три секунды, и т.д., и т.п. Ну типа чтобы проиллюстрировать Ваши же слова о том, что дескать тормоза заметны невооруженным глазом, и растут эти тормоза при поиске линейно.

Согласитесь, Вам показать видные невооруженным глазом тормоза на нескольких сотнях файлов - гораздо проще, чем мне или DocAI продемонстрировать отсутствие тормозов на ста восьмидесяти миллионах файлов.

Нет же, Вы почему-то предпочитаете юлить, подменять свои слова, говорить, что дескать "не прикидывайтесь дурачком, вы же прекрасно поняли, что когда я говорил видно невооруженным глазом, то я имел в виду ограничения системы, когда я имел в виду ограничения системы, то я говорил про открытие каталога, когда я говорил про открытие каталога, то читал про поиск, а поиск тормозит, потому что я наблюдал линейные тормоза при сортировке, которая видна невооруженным глазом".

Скажите честно, Вы соврали, и Вас банально поймали на вранье?
Если нет - то предоставьте таки цифры, о которых я Вас просил еще пару страниц назад. Которые бы демонстрировали видные невооруженным глазом линейные тормоза при поиске на нескольких сотнях файлов.

------------------------------------

Чтоб не выглядеть аналогичным Вам звездоболом, решил таки свой винт изнасиловать. Правда у меня места совсем мало, 5 Гб всего свободно (было), поэтому я ограничился миллионом трехкилобайтовых файлов в одной директории.

Тестовые скрипты (запускать из какого-нибудь ворда/экселя/аксеса):


Результаты:

2 c127
Зачем, в нашей фирме этот тест провели еще в 2000-2001 году
Я Вам не верю. Либо Вы врёте, либо же Вам самому наврали, Вы поверили, и теперь уже других па-децки пытаетесь дезинформировать.
Типа "зуб даю, видел Лох-Несское чудовище в двухтысячном году... линейно растущее... ну не я видел... но с моей фирмы человек видел... ну не видел, а только нюхал... но зуб даю, 220%, говном пахло"

Циферки, с127, циферки в студию. Тем более что "файловая система не поменялась"

Выяснили, что тормоза растут быстро
Опа! Чуть раньше было "линейно". Куда-то Ваша точность высказываний делась :)

много файлов в такой задаче в одной директории хранить нельзя, я об этом сказал.
Ну да, Вы сказали.
Ку.
А DocAI показал, что можно. Я проверил - действительно можно.

Тормоза росли бы линейно в случае отсутствия индексации
Надо же, вчера был День Знаний, теперь день сомнений в собственных силах?
Когда это "бы" появилось в Ваших высказываниях? Раньше было всё гораздо более категорично. Все проверили, не работает, хранить нельзя, не то чтобы искать, не прикидывайтесь дурачком, теста не провели, не болтайте языком, продолжайте болтать языком, и прочие бездарные сопли. У ЧАЛа научились методике ведения споров? Убейте себя ап стену.

я ошибочно считал что в НТФС файлы не индексируются, а какая-то индексация в НТФС есть. Я сам нашел ссылки и признал свою ошибку, нет смысла мне на нее каждый раз указывать, я о ней знаю.
Тринадцатый удар часов ставит под сомнение предыдущие двенадцать.

Но не нужно врать, я нигде не говорил, что линейный рост времени поиска был зафиксирован в эксперименте при поиск или сортировке. Или процитируйте где я это говорил.
Ааа... Так Вы таки вообще экспериментов по замеру тормозов не проводили, даже на глаз, а про линейный рост тормозов при поиске просто так спизднули, для красного словца? (причем спизднули как минимум дважды?) Флаг в руки. Моя оценка Вам - в последней строчке представленных результатов проведенных тестов.

Невооруженным глазом видны тормоза при открывании больших директорий фаром и при поиске из фара и виндовз експлорера, я об этом тоже сказал в явном виде тут
Линейные тормоза? Как Вы упомянули тут, после этого поменяв "поиск" на "сортировку" (или наоборот, я запутался)? Впрочем, неважно, поиск это был или сортировка, ведь Вы уже чуть выше убедили меня в том, что эксперимента не было :)

Хорошо, что через неделю обсуждения Вы таки решились провести тест
Плохо, что Вы так и не решились провести тест. Вы - простой лжец. Никогда никаких экспериментов на заданную тему не проводили, не наблюдали ни сами, ни на работе, и воспроизвести результаты не сумеете при всем желании.

Важно что от этого ничего не меняется
Само собой. Лжец остается лжецом, от каких-либо высказываний в форуме не меняется ровным счетом ничего.

2 с127
с127, ну Вы понимаете, что я еще мышью куда-то кликал в ходе эксперимента? По интернету ползал, диск смотрел, почту читал... Если не понимаете, то просто поверьте

Если что-то из этих операций дало изменение среднего времени поиска на тысячные доли секунды, при небольшом в общем-то количесте тестовых поисков - ну типа я не удивлюсь :)

Плюс к этому обратите внимание на то, что это уже было совсем под завязку диска. Там ужо фрагментация сказываться должна, файлы под конец теста писались в "остатки", с соответствующим влиянием на поиск :)

Впрочем, если вместо демонстрации обещанных своих видных невооруженным глазом линейных тормозов на сотнях файлов Вы решили прикопаться к чужим тысячным долям секунды на десятках и сотнях тысяч (вплоть до миллиона) файлов - бог Вам судья, слив засчитан :)

Причем если я не ошибся с кодом ЛП, файлы ложились последовательно по возрастанию имен, при случайных именах будет еще хуже.
Хосспадя, да не вопрос. Скрипты все выложены, путем небольших модификаций можете повторить тест для случайной последовательности имён файлов. Типо Ваша очередь. Будет интересно посмотреть, тем более что я с ходу не сильно понимаю - почему при рандомном поиске результат должен быть хуже в случае случайных имен. На времени создания файлов еще как-то может сказаться, на времени поиска - чет не верится.

Кстате, с127, а почему вы не обратили внимание на нулевой (и даже на одном из шагов отрицательный) прирост времени поиска на тех самых пресловутых сотнях файлов (вплоть до тысячи)?
Типо обладаете умением замечать только то, что Вам выгодно замечать?

Ну и на всяк случай еще
Создал 10000 файлов, после чего 50 раз запустил свой TestSeek(10^4)
Получил колебания среднего времени поиска от 9.18Е-05 до 1.0Е-02
Создал 100000 файлов, после чего 50 раз запустил TestSeek(10^4)
Получил колебания среднего времени поиска от 4,313Е-03 до 7.34Е-03

с127, о каких таких "замедлениях в 608 раз" Вы говорите, когда на одном и том же наборе файлов один и тоже же рандомный поиск по среднему времени колеблется вплоть до стократных расхождений?

миллисекунды - это в пределах погрешности измерений. аська запустилась - поиск замедлился, system idle занял 100% проца - поиск убыстрился, MFT закешировалось - совсем быстро стало.

я уж молчу про "на глаз заметно".

Создал 100000 файлов, после чего 50 раз запустил TestSeek(10^4)
Пардон, неудачно опечатался, во втором случае 10^5

2 hvlad
ЛПя ограничился миллионом трехкилобайтовых файловКаждый из которых целиком ложится в один кластер ntfs.
Ну да, ложаться в кластер. Проводился бы эксперимент более близкий к реальным условиям (т.е. 180 млн 15-тикилобайтных файлов) - я бы порекомендовал кластер до 16Кб увеличить, дабы оно опять таки в кластер влезло. Оно не критично, но поприятнее жить будет.

Сдаётся мне - они будут целиком лежать в mft.
Я по-моему уже говорил, что целиком в MFT ложаться файлы с характерным размером в сотню байт (и меньше). Т.е. в тесте DocAI они таки в MFT лежали, в моём - нет.

в) уж никак не один каталог с тысячами файлов
Еще раз - откройте каталог Windows\system32
Увидьте там тысячи файлов.
Прекратите пугать людей сотнями и тысячами файлов :). Не те это цифры.

это о чём-то говорит, не так ли ?
О чем? Может о том, что поиск по небольшой директории выполняется быстрее, чем поиск по большой? Но с этим никто и не спорит.

2 ы
да, вышеприведенный тест запускался при включенном индексировании, кстати?
Хрен его знает :)
Я по примеру DocAI играл в северного варвара, ничего нигде не настраивал и не менял. Вряд ли индексация содержимого файлов была включена, но зуб не дам. Вечером смогу сказать.

2 c127
Непонятно зачем публиковать данные эксперимента, а потом на следующий день самому же на протяжении трех постов доказывать что он некорректен.

Следующий день - это сегодня, с127. Если у Вас проблемы с восприятием времени, то сходите к доктору :)

Теперь к данным эксперимента.
Почему ж он некорректен, простите? Вполне корректен. Все ж зависит от того, что пытались выяснить в ходе эксперимента :)
Я сопстна пытался выяснить - правда ли, что миллион файлов нельзя хранить в одной директории (как утверждали Вы), правда ли, что ограничения системы наступают уже на сотнях файлов (как утверждали Вы), правда ли, что при поиске будет большой тормоз (как утверждали Вы), правда ли, что тормоза будут заметны на глаз (как утверждали опять-таки Вы)
Выяснил. Все, что утверждали Вы - неправда. Миллион файлов хранить можно, на сотнях файлов ограничений нет, на глаз тормоза не заменты, большого тормоза нет ни на сотнях файлов, ни на миллионе.
Ну и так как выяснилось, что все, что утверждали Вы, является неправдой, то Вы - лжец. Эксперимент более чем корректен.

Характер зависимости времени поиска от кол-ва файлов я не особо старался определить, и с этой точки зрения готов признать, что эксперимент совсем не корректен. Но уж тем более я не предполагал, что по шести точкам с погрешностью плюс-минус десять тысяч процентов кто-то попробует графики рисовать :). Если бы старался или предполагал, то провел бы немножно другой эксперимент, по-крайней мере с бОльшим количеством точек, и соответственно меньшим шагом.

Кстате, вот результаты (время поиска, кол-во файлов):
Тест практически такой же, только открытие файла и чтение из него одного байта я убрал, оставив сопстна его поиск. Т.е. в процедуре TestSeek теперь такой кусок кода:
Ну и основная тестовая процедура по степеням двойки идет, а не по степеням десятки.

Вам так нравится рисовать графики по чужим данным? Сделайте одолжение, нарисуйте еще один :)
Проблема сразу очень хорошо обрисовывается, что в общем-то и не удивительно. Как с этой проблемой побороться я уже говорил - перенастроить MFT на большее кол-во файлов. Ну и мышкой не кликать, разумеется :).
Полчаса не кликать мышкой я могу, но вот переформатировать винт, уж извините, я не буду.

О видимом на глаз приросте времени поиска на сотнях файлов ачали говорить Вы, я такого не говорил.
Ну хватит врать уже... Говорили. И про открытие каталогов, и про линейный рост, и про видимость невооруженным глазом, и даже в одном абзаце все это говорили, причем в ответ на вопрос "что именно видно невооруженным глазом". Это уже когда Вас за жопу взяли - тогда Вы начали юлить, что дескать невооруженным глазом это ограничения, фар это сортировка, а тормоза это поиск, к которому и относился линейный рост, хоть линейный рост и был упомянут при описании видных на глаз тормозов при открытии, то бишь сортировки. Я не я и жопа не моя.

ЛП
Кстате, с127, а почему вы не обратили внимание на нулевой (и даже на одном из шагов отрицательный) прирост времени поиска на тех самых пресловутых сотнях файлов (вплоть до тысячи)?
Обратил. Но потом прочитал Вашу фразу:
Хммм... вообще-то Вы сначала опубликовали свои выводы, а уже потом последовала моя фраза, которую вы могли прочитать. Сопстна вопрос - Вы сначала обратили внимание, потом опубликовали свои результаты, и уже потом прочитали мою фразу, или же сначала опубликовали свои результаты, потом обратили внимание, и уже потом прочитали мою фразу?

Если сначала опубликовали, потом обратили, потом прочитали, то значит не обратили внимание раньше (до того, как опубликовали). И, стало быть, таки обладаете умением замечать лишь то, что Вам хочеццо замечать.

Если же сначала обратили, потом опубликовали, а потом прочитали, то получается еще хуже, ведь даже обратив внимание - Вы эти факты опустили из рассмотрения, взяв только то, что Вам было удобно рассматривать. И тогда Вы просто занимались подтасовкой и подгонкой фактов под свою точку зрения.

Как не крути, а в итоге Вы по уши в говне :).

дык ведь и я про то же

впрочем, уже пишу новые данные для красявыхх графикофф с127 :)

Приходится признать, что в споре c127 и ЛП победил с127.
Да что Вы говорите

См. график
На Вашем графике аж целый кусок логарифма из трех точек, соответственно на логарифмической шкале аж целый кусок прямой опять-таки из трех точек :)

Могу выложить результат того же самого, но с 1000 замеров.