Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Всем привет! Требуется написать скрипт, который в архивированных gzipom csv файлах делает замену текста regex-ом. Обработка файлов должна проводиться в параллельном режиме. В одном gzip файле - один csv файл. Плиз поделитесь кодом или примером как это можно сделать. Я больше программирую на c#, а код нужен именно на perl под юникс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2013, 22:11 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
man fork man perltut man perlfunc ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.06.2013, 23:02 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Ну вот несколько примеров: 1. threads + Thread::Semaphore Код: perl 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 2. threads + Thread::Queue Код: perl 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 3. fork() + Parallel::ForkManager Код: perl 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. Еще примеры с fork() ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.06.2013, 12:20 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
mhx, Спасибо за помощь! Из опыта, какой метод порекомендуете для максимальной производительности ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2013, 11:40 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Testor1mhx, Спасибо за помощь! Из опыта, какой метод порекомендуете для максимальной производительности ? По производительности, надежности и отслеживанию исключений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2013, 11:42 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Testor1, Может проще поступить, и запустить из командной строки столько процессов сколько вам нужно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2013, 07:48 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Gijad, мне нужно чтобы все работало стабильно и в случае сбоев была нотификация и корректная обработка ошибок. полагаю что лучше все писать одним скриптом и внутри реализовать логику обработки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2013, 13:01 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Testor1, Можно примерно так: Ваш скрипт запустит несколько процессов из командной строки для архивирования, можно использовать 7zip. Они заархивировались, после чего запустите их разархивироваться во временную папку. После чего считаете md5 от исходных файлов и разархивированными файлами во временной папке, сравниваете их. Если всё совпадает, удаляете всё кроме архивов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2013, 07:59 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
ТС, А может mono? Оно вам роднее и под никсами работает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2013, 22:06 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
GijadTestor1, Можно примерно так: Ваш скрипт запустит несколько процессов из командной строки для архивирования, можно использовать 7zip. Они заархивировались, после чего запустите их разархивироваться во временную папку. После чего считаете md5 от исходных файлов и разархивированными файлами во временной папке, сравниваете их. Если всё совпадает, удаляете всё кроме архивов. Не пойдет. Обработку надо делать на лету, без создания промежуточного файла. Нужно будет использовать потоки. Файлы в архиве очень большие. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.06.2013, 13:39 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
WarstoneТС, А может mono? Оно вам роднее и под никсами работает. Нельзя, а так я за ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.06.2013, 13:39 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
Testor1WarstoneТС, А может mono? Оно вам роднее и под никсами работает. Нельзя, а так я за !А почему? В mono есть билд в натив, когда проме ехе больше ничего не надо (ну почти). Ну а вообще остальное уже все написали. мое ИМХО: fork + кормление по пайпам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.06.2013, 23:27 |
|
||
|
[Perl] Многопотоковая обработка файлов
|
|||
|---|---|---|---|
|
#18+
WarstoneTestor1пропущено... Нельзя, а так я за !А почему? В mono есть билд в натив, когда проме ехе больше ничего не надо (ну почти). Ну а вообще остальное уже все написали. мое ИМХО: fork + кормление по пайпам. Запрещено. Обсуждению не подлежит :( Использую то, что разрешено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.06.2013, 21:33 |
|
||
|
|

start [/forum/search_topic.php?author=UTF-8&author_mode=last_topics&do_search=1]: |
0ms |
get settings: |
11ms |
get forum list: |
11ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
59ms |
get topic data: |
10ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 668ms |
| total: | 849ms |

| 0 / 0 |
