EvgEvg, ты сначала определись что для тебя такое базовый цвет.

Алгоритмов уменьшения цветов на изображении - огромная туча.
Лучшие из них вополщены в Adobe Photoshop и используются
для эффектов рисования красками к примеру или как тулзы
для конвертации 24-битного цвета в 8-битный палитровый.

Более грубые варианты - декартово расстояние. Если представить
что цвет RGB - это точка в трехмерном пространстве а эталонный
цвет rgb - это тот который ты сам придумал в качестве эталона
то декартово расстояние

Distance = SQRT((r-R)^2 + (g-G)^2 + (b-B)^2)

даст тебе критерий насколько цвет похож на эталонный.

Если более точно - то вводятся поправочные коэффициенты
к RGB. Они просто укажут что зелёный - более весомый т.к.
более яркий и его вклад в дистанцию более сильный чем скажем
в синий которым можно пренебрегать