|
Действия ...
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
10.03.2007, 01:00
|
|||
|---|---|---|---|
|
|||
Упорядочиваем файлопомойку. |
|||
|
#18+
Есть достаточно большая файлопомойка собранная за годы жызни на n-ном количестве ЦД... Сейчас все эти ЦД переливаются на винт, конечно же информация там будет дублироваться... Вопрос знатокам: как проще всего обнаружить дубли? Приветствуются примерные алгоритмы и просто советы. Моя идея - собрать весь список файлов в БД с путями и вычислить для каждого файла некий хэш или простую чек-сумму и разбирать уже сгруппированный результат по файлам. Еще один вопрос знатокам: есть ли готовые решения? Приветствуются ссылки как на платный так и на бесплатный софт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
10.03.2007, 01:19
|
|||
|---|---|---|---|
|
|||
Упорядочиваем файлопомойку. |
|||
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
10.03.2007, 19:43
|
|||
|---|---|---|---|
Упорядочиваем файлопомойку. |
|||
|
#18+
Сам озадачивался подобным. Могу посоветовать следующее. 1) Можно установить eMule (или KAD) клиента и нацелить каталог доступа на корень документов. Потом открыть вкладку Server Log и понаблюдать. Туда будут сбрасыватся уведомления о дубликатах. Это процесс медленный (от нескольких минут до нескольких часов) т.к. клиент специально хеширует файлы отдельным потоком с низким приоритетом. (Не забудьте сделать disconnect ) 2) Отдельно я использовал утилиты treecrc, openssl и т.п. для выполнения той-же задачи, но с фильтрацией. Пишу пример навскидку, поэтому сорри за глюки. Код: plaintext 1. 2. 3. Код: plaintext 1. 2. 3. Фильтруем нужный тип файлов из log.txt и выкуриваем дубликаты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.03.2007, 00:40
|
|||
|---|---|---|---|
|
|||
Упорядочиваем файлопомойку. |
|||
|
#18+
Осака, мне нужно не поиск по дискам организовать, а рассортировать ВСЕ файлы что есть :) Белый Сов, пасиба попробую разобраться, но нечто подобное было в Total Commander - не очень помогло если честно. Майтон, или кто еще знает, подскажите где поглядеть алгоритмы вычисления CRC и подобные им - думаю сам для себя сварганю утилидку... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.03.2007, 00:48
|
|||
|---|---|---|---|
|
|||
Упорядочиваем файлопомойку. |
|||
|
#18+
в этих программах есть встроенные функции поиска дубликатов по имени, размеру, контрольной сумме ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.03.2007, 10:44
|
|||
|---|---|---|---|
Упорядочиваем файлопомойку. |
|||
|
#18+
КаДэМайтон, или кто еще знает, подскажите где поглядеть алгоритмы вычисления CRC и подобные им - думаю сам для себя сварганю утилидку... Вот исходничек. Не мой правда. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=16&mobile=1&tid=1346195]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
76ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 229ms |
| total: | 394ms |
| 0 / 0 |
