Если я правильно понял, что тебе надо, начни с Deconvolution

Из книг могу посоветовать

Бакушинский А.Б., Гончарский А.В., Некорректные задачи. Численные методы и приложениях. М. 1989 г. - книга есть в электронных библиотека. Нужен раздел, посвященный применению для изображений задач по решению интегральных уравнений Фредгольма первого рода. Это хороший теоретический задел.

Anil K. Jain, Fundamentals of Digital Image Processing, Prentis Hall, 1989 г. - очень интересная книга, масса алгоритмов для обработки изображений с необходимым математическим базисом. Книга есть в электронных библиотеках.

Ну и гугл никто не отменял. :)