Всем привет.

Прошу строго не судить, т.к. ранее с многопоточностью на Python не приходилось сталкиваться.
Хотелось бы понять в рамках python'а, возможно, кто - нибудь сталкивался и поделится своим опытом "куда копать" лучше.

Суть самой задачи:
Есть много файлов ~ около 1500 (объем будет расти в дальнейшем).
Содержимое этих файлов (HMTL разметка и данные) необходимо загрузить в другую ИС (в wiki - систему, через предоставляемый API).
Реализован скрипт, который находит файл для загрузки, создает в ИС "объект" и копируется содержимое файла. ( около 4-5 часов данный скрипт работает).

Можно ли решить подобную задачу, разбив процесс загрузки на N-потоков и тем самым уменьшить время загрузки ?


Заранее спасибо.

ИзопропилСтанислав КлевцовМожно ли решить подобную задачу, разбив процесс загрузки на N-потоков и тем самым уменьшить время загрузки ?
зачем потоки - несколько процессов запустить и ваши волосы будут в полном попрядке

а что вы имеете ввиду под N-процессами ? ( 1 процесс - загружает первые 100 файлов, 2 - следующие 100 файлов и т.д.? )

ИзопропилСтанислав Клевцова что вы имеете ввиду под N-процессами ? ( 1 процесс - загружает первые 100 файлов, 2 - следующие 100 файлов и т.д.? )
примерно так. первые 100 - условность, критерии назначения файлов процессам могут быть самые разные

Ок, понятно. Тогда "процесс" - это вызов хранимой функции с неким параметром ( критерием ).


Как в коде реализовать выполнение функции сразу с 3 параметрами ( возрастет потребление CPU), а не ждать последовательного выполнения сначала с 1-ым, 2-ым и 3-ьим параметром одной и той же функции ?

GrunchВозможно, подойдет Pool.map()
multiprocessing.Pool.map

посмотрел, попробую покрутить. спасибо