МмихалычПосоветуйте на чем лучше писать данный алгоритм, для себя пока остановился на c++.
Сначала лучше выбрать метод, определиться с требованиями к скорости/памяти, а уже потом выбирать, ИМХО конечно, но вроде бы это очевидно :)

МмихалычПлюс, где можно почитать какой метод предпочтительней, может уже есть, что готовое.
В гугле, конечно, но все зависит от конкретной задачи, алгоритмов великое множество, подавляющее большинство из них хороши в каких-то частных случаях.

МмихалычФигуры возможны различных форм, включая многоугольники, необходимо отделить фигуры от общего фона (это я так понимаю не сложно, у них один цвет постоянный, у фона другой), у каждой узнать свои уникальные координаты, свой id, т.к. каждая фигура будет в дальнейшем использована для определенных действий.
Важно: фигуры уже отцентрированы или нет? отмасштабированы или нет? ориентированы (повернуты) одинаково или нет? выравнивание цветов произведено или нет? и т.д.
"отделить фигуры от общего фона" - это задача оконтуривания, из тривиальных алгоритмов градиент цвета или "алгоритм жука", но опять же это даст просто новую бинарную картинку, где вместо предметов будут их контуры, важно что требуется с ней делать дальше, что получить в итоге; возможно, она и даром не сдалась.
Если фигуры только геометрические контурные, то есть очень простой и прикольный способ, но применимый далеко не для любого набора фигур - вычислять отношение периметра к площади ;)
В некоторых случаях может подойти сеть Хемминга, в некоторых - Хопфилда... Короче, способов тьма тьмущая, задача нуждается в конкретизации)))