Такая задача:
Приложение получает из таблицы в базе список файлов, затем должно пройти по списку и определить - существует ли физически файл по указанному пути.
Если не существует файл добавляется в список несуществующих файлов, который и является целью обработки.

При большом количестве файлов в списке обработка длинная.
Как можно распараллелить? ускорить?

Dima TДелай в N потоков.

Как вариант: если папок с файлами немного, то сначала прочитать содержимое папок в массив, затем проверять на наличие в массиве.

да, вариант, хоть в общем случае неизвестно много ли файлов.

Но вот "наличие в массиве" как проверять? Перебором?
Там ключ по идее полный путь к файлу.

Petro123Ролг Хупин,
В табле триггер на insert и проверять на данное событие. Будет мгновенно.

Из базы только читается список файлов, далее всё делается в приложении.
Если имеется в виду - в момент добавления файла в базу, то - да, можно и так, но после этого файл могли грохнуть и т.д.
Там есть и обратная задача, но есть условие: из базы никаких выходов во внешний мир, т.к. Azure, RDS, SQL Server Linux

Petro123Ролг Хупин,
Если файл могли грохнуть, то никакие списки ЗАРАНЕЕ на клиенте делать нельзя.

Ну, это и не зеркало.

Задача 1. В базу пишутся записи о прикладных объектах, каждый объект имеет список связанных с объектом файлов (путей).

Объект О1->
->Файл1
->Файл2
...
->ФайлN

Юзер может проверить целостность набора файлов в клиентском приложении.
Выбирается список из базы (Файл1,...,->Файл10000) и создается список несуществующих.
Почему они уже не существуют - вопрос третий, да это и не важно.

Задача 2. (Обратная)
В функцию в приложении передается фолдер и нужно создать список файлов, которые есть в фолдере, но нет в таблице в базе.

Эти задачи делаются, но при большом количестве файлов на диске и/или в базе - они тяжелые и долго выполняются, потому что линейно, по одной записи.

Petro123Ролг ХупинЭти задачи делаются, но при большом количестве файлов на диске и/или в базе - они тяжелые и долго выполняются, потому что линейно, по одной записи.
Сиквел умеет хранить в базе файлы, но в виде ссылок? Как в оракле?
Подходит вариант?


не ;-) там строчки nvarchar - пути к файлам.

Как я написал
"Приложение получает из таблицы в базе список файлов, затем должно пройти по списку и определить - существует ли физически файл по указанному пути.
Если не существует файл добавляется в список несуществующих файлов, который и является целью обработки."

Для большого списка проверка существования каждого файла - одно из узких мест.
Ну, да, разве что запустить в несколько потоков проверку и если нет файла - добавление в тот же список.

skyANAРолг Хупин,

а сколько файлов? как долго выполняется?

У нас админ тупо на PowerShell скрипт наваял и он шустро работает.

9 с половиной миллионов файлов в 14 миллионах папок.

Это у разных юзеров выполняется, по-разному может быть, где-то быстро, где-то несколько часов, если файлов много, если слабая машина, где запустили утилиту и т.д.
Интерфейс должен быть юзер-френдли, потому PS не пройдет.

skyANAРолг Хупинпропущено...


Это у разных юзеров выполняется, по-разному может быть, где-то быстро, где-то несколько часов, если файлов много, если слабая машина, где запустили утилиту и т.д.
Интерфейс должен быть юзер-френдли, потому PS не пройдет.
Несколько часов у юзера? Сомневаюсь, что у отдельного юзера миллионы файлов. Смотрите на чём конкретно тормозит Ваша обработка.

LINQ используете?

Конечно, миллионов файлов нет, тыщи, LINQ тоже нет. Читается список в List<string>, затем суётся в DGV , затем проверяется и формируется целевой список несуществующих во втором DGV. Код написан 300 лет назад

skyANAРолг Хупин,

кстати, а где файлы хранятся? На локальном диске, или на сетевой шаре?

Могут и локальн, но в 99% случаев на шаре.

Petro123Ролг Хупинпропущено...


Могут и локальн, но в 99% случаев на шаре.
И шара замапплена всегда на одну букву?
Весело у вас там. Когда 5 юзверей будут шару одну проверять.

шар ~десяток, букв нет. Да, возможно и такое, хотя маловероятно, что одновременно, операция не часто делается.

13thА какая СУБД и где хранятся файлы?
Если MS SQL + файлы хранятся на той же железке, что и база, то можно сделать xp (extended stored proc), и сразу получать ответ.


На разных, SQL Server отдельно, шары для файлов отдельно.

Кстати, приблизительно так и работало через XP, затем SQL CLR, как раз избавляюсь от них, такие времена
Сервер в тучах не допускает использование такого типа процедур.Приходится таку. обработку переносить на клиента

13thРолг Хупин, три вопроса:
1. набор каталогов, в которых хранятся файлы, задан жёстко? (допустим, чётко заданный список локаций \\HOST1\Images\*;\\HOST2\Images\*;\\HOST1\Images\* или не известен заранее (локации произвольно добавляются и удаляются)?
2. какие свойства набора файлов? Уже понятно, что они могут удаляться независимо от БД. Могут ли они появляться (возвращаться обратно после удаления) независимо от БД? И надо ли будет после этого удалённый файл помечать как восстановившийся?
3. какая ставится цель? Если минимальное время отклика - то одно решение. Если максимально актуальная информация - то другое. Если хочется в режиме реального времени видеть процесс удаления файлов на нескольких сетевых локациях - третье.


1. набор шар стабилен, но может меняться юзером. Т.е. есть таблица со списком шар, куда юзер пишет свои файлы клиенсктим приложением. Он может добавить новую шару или удалить старую.

2. Нежелательно, но могут появляться, удаляться, анду-иться вне связи с БД, потому, собственно и задачи возникли:

3. ...определить целостность наборов в базе и реального на диске.
Реальное время не нужно, "разумное" хотелось бы для проверки соответствия.

Petro123Ролг Хупин,
Вам нужно вместо мозгового штурма полностью переписать проект.
Или искать, что конкретно делает цикл 1000 пять часов.

1. не получится, имеем то, что имеем.
2. да, пытаюсь. Но кроме всего хотелось бы саму логику оптимизировать

13th13th1. раз в минуту запускается скрипт, который по набору папок хранения делает снимок файловой системы (да хоть бы команду dir /s /b в файл). Результаты загружаются в БД (bulkimp).
п.1 - тоже не обязательно скрипт ОС, это может быть и SQL-скрипт, запускемый по таймеру. Сделать курсор оп шарам, для каждого сделать cmd_exec 'dir /s /b \\host1\images\folder\' , результаты объединить. Нутыпонел.

Нельзя, база может быть в туче

13thРолг ХупинНельзя, база может быть в туче
Это детали. Они все, так или иначе, обходятся.

детали-то, детали, и как обойти запрет dв туче выполнения cmd или SQLCLR EXTERNAL_ACCESS?