|
|
|
Упорядочиваем файлопомойку.
|
|||
|---|---|---|---|
|
#18+
Есть достаточно большая файлопомойка собранная за годы жызни на n-ном количестве ЦД... Сейчас все эти ЦД переливаются на винт, конечно же информация там будет дублироваться... Вопрос знатокам: как проще всего обнаружить дубли? Приветствуются примерные алгоритмы и просто советы. Моя идея - собрать весь список файлов в БД с путями и вычислить для каждого файла некий хэш или простую чек-сумму и разбирать уже сгруппированный результат по файлам. Еще один вопрос знатокам: есть ли готовые решения? Приветствуются ссылки как на платный так и на бесплатный софт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2007, 01:00 |
|
||
|
Упорядочиваем файлопомойку.
|
|||
|---|---|---|---|
|
#18+
Сам озадачивался подобным. Могу посоветовать следующее. 1) Можно установить eMule (или KAD) клиента и нацелить каталог доступа на корень документов. Потом открыть вкладку Server Log и понаблюдать. Туда будут сбрасыватся уведомления о дубликатах. Это процесс медленный (от нескольких минут до нескольких часов) т.к. клиент специально хеширует файлы отдельным потоком с низким приоритетом. (Не забудьте сделать disconnect ) 2) Отдельно я использовал утилиты treecrc, openssl и т.п. для выполнения той-же задачи, но с фильтрацией. Пишу пример навскидку, поэтому сорри за глюки. Код: plaintext 1. 2. 3. Код: plaintext 1. 2. 3. Фильтруем нужный тип файлов из log.txt и выкуриваем дубликаты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2007, 19:43 |
|
||
|
Упорядочиваем файлопомойку.
|
|||
|---|---|---|---|
|
#18+
Осака, мне нужно не поиск по дискам организовать, а рассортировать ВСЕ файлы что есть :) Белый Сов, пасиба попробую разобраться, но нечто подобное было в Total Commander - не очень помогло если честно. Майтон, или кто еще знает, подскажите где поглядеть алгоритмы вычисления CRC и подобные им - думаю сам для себя сварганю утилидку... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.03.2007, 00:40 |
|
||
|
Упорядочиваем файлопомойку.
|
|||
|---|---|---|---|
|
#18+
в этих программах есть встроенные функции поиска дубликатов по имени, размеру, контрольной сумме ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.03.2007, 00:48 |
|
||
|
Упорядочиваем файлопомойку.
|
|||
|---|---|---|---|
|
#18+
КаДэМайтон, или кто еще знает, подскажите где поглядеть алгоритмы вычисления CRC и подобные им - думаю сам для себя сварганю утилидку... Вот исходничек. Не мой правда. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.03.2007, 10:44 |
|
||
|
|
start [/forum/topic.php?fid=16&msg=34382193&tid=1346195]: |
0ms |
get settings: |
5ms |
get forum list: |
15ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
142ms |
get topic data: |
8ms |
get forum data: |
1ms |
get page messages: |
47ms |
get tp. blocked users: |
2ms |
| others: | 201ms |
| total: | 425ms |
| 0 / 0 |
