ЛП
Ну и что изменилось в Вашем последнем эксперименте по сравнению с предыдущим? Тормоза как были так и остались, причем тормоза ну очень большие. Я Вам об этом и говорил, а Вы не верили. График сами нарисовали без меня, в сравнении с предыдущим ничего существенно не изменилось, могу повторить если хотите.

ЛП
Вам так нравится рисовать графики по чужим данным? Сделайте одолжение, нарисуйте еще один :)
Проблема сразу очень хорошо обрисовывается, что в общем-то и не удивительно. Как с этой проблемой побороться я уже говорил - перенастроить MFT на большее кол-во файлов. Ну и мышкой не кликать, разумеется :).
Так проблема обрисовалась уже в предыдущем эксперименте, и проблема эта в тормозах. Как с ней бороться это все Ваши теоретизирования, может сработать, может нет.

И на основной ворос вразумительного ответа так и нет: а зачем вообще с чем-то бороться, если есть нормальное решение на базе РСУБД. Отмазка что "Например на тот хрен, что NTFS у меня есть, и кушать не просит, а вот DB2 у меня нету, " ( /topic/351165&pg=3#3301876 ) не проходят. Как выяснилась NTFS есть, да не совсем та, что нужно, чтоб стала та нужно MFT перенастроить и еще что-то там подкрутить, но всего этого ЛП делать не хочет, поскольку это очень проблемно. Правильно, проблемно, как говорит DocAl:"Вот это и называется, преодолевать трудности, не взирая..."

Так по-моему бесплатную ДБ2, постгре или МуСКЛ скачать легче или же взять МССКЛ, оракл или что-то другое коммерческое, если они уже есть в фирме.







ЛП
Ну хватит врать уже... Говорили. И про открытие каталогов, и про линейный рост, и про видимость невооруженным глазом, и даже в одном абзаце все это говорили, причем в ответ на вопрос "что именно видно невооруженным глазом". Это уже когда Вас за жопу взяли - тогда Вы начали юлить, что дескать невооруженным глазом это ограничения, фар это сортировка, а тормоза это поиск, к которому и относился линейный рост, хоть линейный рост и был упомянут при описании видных на глаз тормозов при открытии, то бишь сортировки. Я не я и жопа не моя.
Говорил, но речь шла о разных вещах, обращайте внимание на точки и другие знаки препинания. То что они в одном абзаце само по себе ничего не значит.

Читаем следующие последовательные посты:
с127Не пишите чепухи, "всякие ограничения операционки" в таких задачах наступают очень быстро, в вынь2000 начиная с нескольких сотен файлов уже заметно невооруженным глазом, это мы проверили на своем печальном опыте, тоже сложили картинки в файлы. Файлы в каталогах в NTFS не индексируются, если Вы понимаете о чем я. Последующая неизбежная борьба со "всякими ограничениями", типа организации дополнительных подкаталогов, а их тоже не должно быть много, очень неприятна займет кучу времени. Это тоже проверено.
/topic/351165&pg=1#3285153
По видимому сформулировано не очень понятно, поэтому ЛП уточняет:
ЛПА можно поподробнее - что именно заметно невооруженным глазом ?
/topic/351165&pg=1#3285215
Я отвечаю совершенно однозначно:
с127
Заметны тормоза например в открывании каталогов . У меня относительно медленная машина, на быстрых заметно позже. NTFS я упомянул потому что именно там я заметил тормоза, но это не важно, на других обычных ФС будет то же самое. Больше файлов - большие тормоза, причем тормоза растут линейно.
/topic/351165&pg=2#3291407
Тормоза заметны невооруженным глазом при открывании каталогов, смотрим выделенный текст. Ясно что то, что рост линейный, на глаз определить невозможно, это уже будет не "на глаз". Линейный рост тормозов это я ошибся, я уже признал что думал что файлы не индексируются ( /topic/351165&pg=3#3299341 ). Как видно я не утверждал, что наблюдал линейное замедление невооруженным глазом в нескольких сотнях файлов, как мне приписывает ЛП. Хота на практике оказалось что замедление получается даже большее, чем без индекса.
Едем дальше.
Пьяный ЛохЫть пардон - что такое "открывание каталогов"?
Чем открывание?
Консервным ключом, али виндоуз експлорером? И даже если там проблемы - не проблемы ли это консервного ключа?
Давайте фсе-таке уточнять, а?
/topic/351165&pg=2#3291415
Возможно что "Пьяный Лох"!=ЛП, но я пока предполагаю, что это одно и то же. Тут видно, что ЛП сначала прекрасно понимал о чем идет речь, спрашивает не о поиске на нескольких сотнях файлов, а об открывании каталогов. Это теперь он корчит дурочку.
с127Фаром. Поиск фаровский и виндовзный тоже явно тормозят, когда натыкаются на большую диреркторию.
/topic/351165&pg=2#3292545
Фар действительно тормозит, это видно, линейно или нет не знаю, кто же такие вещи на глаз определяет.



Ну и где я был не прав? Только с индексом ошибся, но давно это признал. Но на деле ситуация с поиском оказала даже гораздо хуже чем я ожидал. Тормоза есть, я их видел в наших экспериментах в 2000-2001 году, ЛП это подтвердил своими экспериментами, причем заявив при этом: "Никогда никаких экспериментов на заданную тему не проводили, не наблюдали ни сами, ни на работе, и воспроизвести результаты не сумеете при всем желании. ". ( /topic/351165&pg=4#3311754 ) Весь ЛП такой противоречивый, угловатый весь (C), сам все получил и сам же сказал что получить это невозможно.

В результате подтвердили, что много файлов в одной директории хранить и искать практически нельзя, а 1 млн по постановке задачи это немного, там требуется как минимум 18 млн. Все правильно, все что я говорил с самого начала по сути дела - подтвердилось. 18 млн файлов в одном каталоге NTFS с поискам по ним это явный признак проблем с головой у архитектора системы.

ыух ты. 50000 картинок в день по 15 кб = 18 млн картинок в год, которые нельзя хранить в папке, а надо хранить в базе. А что, "бесплатные ДБ2, постгре или МуСКЛ" умеют работать с базами 250 Гб (гигабайт) размером? Или одна сотая секунды на поиск файла - это настолько катастрофически много, что есть причина для спора?
Одна сотая может быть мало или много в зависимости от задачи. Автор топика не уточнил сколько ему надо, сказал только чтобы "быстро".

Но были абсолютно однозначно обнаружены следующие серьезные проблемы.
1) Виндовз не смог добавить 2 млн файлов в одну директорию.
/topic/351165&pg=1#3285273
Правда сказали что файлы неправильные. Что будет на требуемых по ТЗ 18 млн никто не знает.
2) Тенденция замедления. При возрастании числа файлов с 10000 до 1 млн время поиска увеличилось в 600 раз.
/topic/351165&pg=4#3305384
/topic/351165&pg=4#3311780
Говорят если поплясать с бубном вокруг компьютера тоже можно подправить, но наверняка опять же никто не знает.

Проблемы имеют тенденцию расти. Если даже на мелких тестовых задачах такие проблемы, то можно представить что будет дальше.

DocAl2с127: а какие аргументы-то вам нужны? Мы можете показать тормоза, измеряющиеся не сотыми долями секунды?
Откуда Вы можете знать, что сотые доли это мало? Если от системы требуется выполнять 200 запросов в секунду, то сотые это много. Сколько нужно мы не знаем.

Важна тенденция, посмотрите на графики, куда они лезут и с какой сокростью. Отставание от самого плохого моего прогноза в 6 раз. Я сказал, что будет существенное замедление, Вы его имеете. Смотрите графики. Замедление в 600 раз это много, если теоретически при наличии индекса должно быть в районе 2-3, и даже без индекса, как я думал в начале, должно быть 100.


DocAlПока сколько ни пытались, такие тормоза не обнаружили.
Сказать "я ничего не вижу" можно в любой ситуации.

DocAlА сотые доли секунды -- они не то что в пределах -- пренебрежимо малы по сравнению с погрешностью измерений.
Если данные ЛП в пределах погрешности, то эти эксперименты вообще ничего не стоят. Но я думаю, что Вы ошибаетесь насчет погрешности. Как Вы определяете погрешность расскажите пожалуйста.

ЛП
Пока с127 рассказывал детские страшилки про то, что много файлов в одной директории хранить нельзя, DocAI взял да и положил два миллиона файлов в одну директорию. И вот на тебе, "Но были абсолютно однозначно обнаружены следующие серьезные проблемы. 1) Виндовз не смог добавить 2 млн файлов в одну директорию."

А вот как это было на самом деле:
DocAlОбновление: я таки решил дождаться, и где-то в районе 2 000 000 файлов винда дошла до состояния практически полного нестояния и сказала "кря". Предложила запустить chkdsk.exe, но запустить не смогла, т.к. не смогла открыть необходимые библиотеки. Причём ни создать новый файл, ни открыть старый стало невозможно.
.....
Антивирус забавно плющит... У меня Avira Antivir, с зонтиком, так он в трее этим зонтиком теперь хлопает постоянно, то откроет, то закроет...) И буфер обмена не работает. В общем, вполне себе способ создать забавные глюки на компе, причём можно использовать и не системный раздел.)
/topic/351165&pg=1#3285273
/topic/351165&pg=1#3285296

Хотя конечно может оказаться что для кого-то это норма, как говорится кому и кобыла невеста. (С)

aZmвот жеж комуто делать некуй))))

мои 5 копеек флуда:
если картинка существует как "вещь в себе", без дополнительных характеристик и атрибутов, и доступ можно организовать просто по имени/каталогу - субд в принципе особо не нужна. если же у картинки есть какие то дополнительные характеристики, не исчерпывающиеся именем, то - тут уже прямая дорога в субд)
Да есть там атрибуты, даже хуже, записи в точно неизвестном количестве, примерно по 20 штук на картинку:
"в день добавляются примерно 1000000 (лимон) записей типа (индекс, строка(под 10 символов)) да плюс еще картинки эдак так под 50000 (каждая размером под 15 киолбайт)."
/topic/351165&pg=1#3274048

ЛП как партизан молчит, не колется как он собирается все это складывать в файловую систему. Можно конечно придумать как и этот миллион записей в день сложить в файловую систему, в процессе складывания упорно плясать с бубном возле компьютера и в результате это все может быть (но не наверняка) со скрипом и проблемами заработает. Но зачем, если проще использовать СУБД. На этот вопрос ЛП тоже упорно не отвечает.