Наконец-то почистил архив фоток. За 10 лет там такой бардак устроили, что руками нереально разгребать. Одно и тоже понакопировали в разные папки. Удалилось 13 Гб из 120.

Прога в аттаче (исходник на C# и батник для компиляции) Ищет дубли по содержимому и переносит их в отдельную подпапку.

Если кому надо - пользуйтесь.

Для компиляции запустить compile.cmd
Саму прогу так запускатьFindFileCopy <folder> [-clean] [-main:subfolder1;subfolder2...]
Параметры:
<folder> папка внутри которой идет поиск
-main:subfolder1;subfolder2... перечень подпапок, которые считать оригиналами (из них копии не убираются)
-clean создать подпапку _double_copy_XXXX и туда переместить найденные повторы вместе с путями, иначе только сообщения о повторах.

Пример:
FindFileCopy c:\Foto -clean -main:2014;2015;2016

Если запустить просто
FindFileCopy c:\Foto
то только напишет где дубли, ничего переносить не будет

eNoseа учитывается поворот фотографий?
а то ведь в одном каталоге может лежать фото, а в другом - такое же, только повернутое.
Не, только поиск одинаковых файлов.
AkinaЯ, конечно, в шарпах нуль - но чисто на взгляд дубли ищутся по MD5 содержимого, а не по самомУ содержимому.
Там три проверки: сначала совпадение размера файла, потом MD5 от первых 16 Кб, потом полный MD5. Думаю это равносильно сравнению содержимого.

tanglirDima Tпотом полный MD5зачем полный мд5, не проще (и надёжнее) ли сравнивать уже 2 файла целиком?
В худшем случае тормоза будут: если мы имеем N разных файлов одинакового размера с одинаковыми первыми 16 кб, то каждый файл будет прочитан N-1 раз. А так каждый файл по 1 разу читается.

И потом MD5 посчитать кода меньше, чем содержимое сравнивать.

В случае с фотками думаю немного одинакового размера.
Возьмем другой, вполне реальный случай: N копий в разных папках, тогда для сравнения по содержимому надо будет (N-1)*2 чтения файла целиком. А так только N.

maytonДима. Я пару лет назад реализовал для себя imagehash на Java.

https://special.habrahabr.ru/kyocera/p/237307/

самый первый и самый жлобский вариант где идет сравнение 8x8 биткарт.
Можно попробовать это запилить, на поиски однотипных фоток (обычно 3-4 в одном месте и "потом выберем получше"). Теоретически 2/3 должно удалится, но тут сразу встает административная проблема: кто досортирует, т.е. примет решение что именно эта фотка лишняя. У меня таких решительных нет, потому и лежит весь архив как есть. Удалил 10% уже хорошо.
maytonОбнаружил у себя в коллекции фоток - целые директории копий (да такое бывает).
Хоть кому-то пригодилось :)
Цель была именно такая - похерить задвоения.