Привет!
вопрос про сравнение нарисованных от руки изображений по их смыслу. Т.е. есть два изображения, нужно чтобы алгоритм выдавал процент их схожести. Перцептивный хеш даст слишком грубый результат. Например, на одной картинке стакан с водой, на другой кувшин с водой - визуально они не похожи, а по смыслу очень близки. Так что желательно семантическое сравнение. Ну или хотя бы визуальное - есть готовые библиотеки?

mayton,

этот метод обладает низкой чувствительностью к деталям (они теряются при уменьшении картинки).
Допустим, есть две картинки, снизу земля, сверху небо, в центре какое-то строение, детали различны (на первой сарай, на второй коттедж). Перцептивный хеш обобщит растр до миниатюры 8х8 пикселей, и скорее всего, выдаст высокий процент сходства, т.к. распределение объектов в целом очень схоже. Думаю, гугловый поиск по картинкам работает также.

А у нас принципиально другой случай. Картинки, по крайней мере одна из них, нарисованы от руки, тонкими линиями, без закраски, т.е. это по своей сути скорее векторное изображение, хотя и лежит растром. Например, значок планеты (как Венера и Марс изображаются, помните?), или скандинавская руна, или буква алфавита и пр. Причем, ракурс может быть разный: здесь квадрат, а тут скорее уже ромб, причем повернут. Здесь стакан, а здесь бутылка. И так далее.

В идеале, алгоритм должен уметь анализировать семантику изображений. То есть, если 9 из 10 людей считают, что данные две картинки близки по смыслу, выдавать это. Но я понимаю, что это, возможно, не решаемая задача.

По более простому распознанию: есть ли какие-то библиотеки?

Товарищи,
я понимаю, что критерии задачи размыты, а ожидать от программы (даже построенной на НС) умения сравнивать образы со смысловым подтекстом - крайне наивно. Надеялся, а вдруг, какое-то подобное чудо все же есть.

По готовым решениям, буду смотреть в сторону ImageEn и OpenCV.

Касательно постановки задачи, понятно дело, нужна модель, описывающая, какие картинки мы считаем похожие. Тут наверно проще пойти от обратного: вот есть 2 идентичные картинки, начинаем одну из них менять. Самое базовое, это конечно изменение размера, гаммы, добавление небольшого количества шума. К таким искажениям инвариантны многие алгоритмы сравнения. Изменения пространственного положения фигуры - уже сложнее. Но тут хотя бы понятна суть возможных отклонений, как это запрограмировать - вопрос чисто технический.

А в нашем случае модель еще не создана. Никем. В мире. Задача очень смелая, увлекательная, многогранная. Суть ее в следующем. Несколько НИИ в различных странах (Россия, США, Германия, Австралия, Индия) уже не первое десятилетие ведут эксперименты по телепатической передаче образов (да, именно так!). Я говорю о серьезных исследователях, ученых, не склонных к мистификации, которые просто хотят разобраться в том, действительно ли это явление существует, и если да - то как оно работает. Поэтому эксперименты проходят со всей строгостью научного подхода.
Итак: есть, к примеру, 10 картинок, которые были переданы (с использованием определенной аппаратуры), и есть, например, 30 символов, которые нарисовал принимающий оператор (он не знает, сколько символов было передано). Нужно сравнить эти 30 с теми 10, и выдать заключение, например: этот оператор принял 3 символа из 10. Какова модель этого явления? Т.е. по каким законам меняется изображение при его растяжениях, поворотах и пр. - это понятно. А как оно меняется, пройдя телепатический канал и сознание оператора? Т.е. как оценивать эти символы, что считать принятым символом. Большой вопрос, требующий нестандартного решения. Пока речь о том, чтобы автоматизировать хотя бы самое приблизительное, грубое сравнение.

Если кому-то интересен подобный ряд задач - присоединяйтесь)

Abstraction,

согласен что проще. Да и методически правильнее, начиная с того порога точности сравнения, где ни один алгоритм просто не справится так, как человек. Дело в объемах данных, почему и возник вопрос автоматизации. Если выдавать пары картинок, и эксперт (жюри) глядя пять секунд кликает "совпадают" или "не совпадают" - то сколько надо прокликать, если в эксперименте участвовало 1000 человек, каждый принял 20 символов, а передано было их 50? Один миллион сравнений.

Можно конечно организовать распределенную сеть, т.е. на сайте регистрируются желающие участвовать (вспомним те же SETI), запускают сеанс, и им выдаются картинки. Причем, для повышения достоверности, каждую пару картинок нужно выдать нескольким экспертам, и взять среднюю оценку. В общем, как гугловая reCaptcha работает - тот же самый принцип. Но там-то понятно, в чем мотивация участников. А здесь и сотню людей собрать будет проблема, особенно в России, где у людей сформировали определенные стереотипы относительно науки.

Можно сократить вычисления. Эксперт для каждой картинки проставляет категорию (типа "пирамида", "молния", "круг с какой-то волнистой штукой в центре",...), а потом программа проводит всевозможные сопоставления, не картинок, а их категорий. Но все равно, даже при таком подходе придется проводить классификацию в ручную, и субъективно. И алгоритм в целом более грубым становится.

Как я уже говорил, задача из малоизученной и очень передовой области, где стыкуется множество наук.

Abstraction1) Вы не слышали про акцию "напиши reCaptcha что-нибудь нецензурное"?

Да, конечно слышал. Оно и понятно: гугл решает свои задачи за наш счет, нас не спросив. В нашем примере, конечно, люди должны быть энтузиастами.

Abstraction2) Какие стереотипы? Поподробнее, пожалуйста - у меня, к примеру, стереотип на этот счёт один: когда исследователь ещё до каких бы то ни было наездов встаёт в позицию обижаемого и непризнанного, его результаты надо перепроверять по десять раз с микроскопом.

Ну что вы, какие обиды) Есть просто факт: на западе исследование таких малоизученных областей как телепатия, возможность влияния сознания на распределение случайных величин, применение газоразрядной визуализации и т.п. - там это имеет намного большую поддержку (сужу по конкретным примерам). Не скажу что всегда поддержку государства, нет. Многие ученые там вынуждены проводить "альтернативные" исследования в свободное от "основной" деятельности время (как и у нас). Но в целом оно как-то более лояльно обществом принимается, финансируется. К некоторым темам уже и государство начало присматриваться. У нас же комиссия по борьбе с лженаукой травит всех, не особо разбирая, где там шарлатан, где нет. Я не обижен :) Понимаю положение вещей, и просто отметил тот факт, что у нас проводить такие работы пока намного сложнее, и пока мы получаем больше поддержки, отклика, и предложений о сотрудничестве в других странах. Это просто немного грустно, вот и все.


Abstraction3) Вы выбираете не между "грубым" и "тонким" способом, а между "пригодным" и "непригодным". Использование проприетарного алгоритма для выдвижения гипотезы на приемлемый способ, ИМХО, не тянет.

Конечно, буквально недавно где-то проходила статья на эту тему. Ну что научный софт должен быть open source, т.к. были прецеденты, когда результаты исследований были ошибочны из-за багов используемого для расчетов софта, что потом уже по коду народ находил. Я готов публиковать исходники своего софта, когда речь идет об обнародовании результатов исследований)

Abstraction4) Не вижу удвоения (реально - учетверения) в количестве: должны быть "принимающие", которым никто ничего не передаёт, причём "принимающему" не должны сообщать, относится он к первой группе или ко второй; полученные изображения должны сравниваться с переданным набором и со случайным (сравнивающий не должен знать, какой из них какой), изображения от "принимающих", которым реально ничего не передавалось, сравниваются с двумя случайными наборами, один из которых помечен до сравнения как "истинный", проверяющий опять же не должен знать, какой из них какой.

Ну да, двойной слепой метод, разбавление выборки, метод Монет-Карло,.... - много можно моментов (повышающих достоверность) наворотить поверх, вопрос что в основе. Пока будем считать рабочим вариантом экспертное сравнение, пусть так. Я просто думаю, есть ли еще какие-то подходы, позволяющие по максимуму автоматизировать сравнение.

mayton,

в интернете найти непросто. Речь об этих работах.

Все верно,
важна сама методика сравнения, и вопрос действительно глобальный. На этом форуме я хотел затронуть вопрос только в аспекте программной реализации. Иными словами услышать мнения на тему "каков предел возможностей у алгоритмов нечеткого сравнения изображений". Мнения услышал, спасибо за дискуссию!

Ребята, тут уже свои тонкости идут, не по теме форума. Понятно, что если принимающий оператор изначально знает "алфавит", т.е. множество возможных для передачи символов, то тогда вообще ничего распознавать не надо. Оператор просто ставит в электронном протоколе номера символов, потом они сверяются, все четко, однозначно, легко автоматизировать. Но во многих опытах такие ограничения не ставятся, и принимающий оператор не имеет ни какого понятия о том, что передается. Один из множества побочных эффектов такого подхода: он принимает еще и другие сигналы, которые по заключению ученых-лингвистов четко относятся к древним (и оператору конечно же не известным) культурам, источник передачи которых пока не установлен.