1) берем первую точку первого полигона и вторую точку второго полигона. Считаем квадратичное расстояние между ними. Это будет начальное значение минимума (квадратичное чтобы не тратить время на расчет квадратного корня).

2) далее бежим двойным циклом по всем ребрам полигона(любого из двух). Ищем минимальное расстояние от текущего в итерации ребра до всех ребер соседнего полигона(кртическое уловие - расстояние НОЛЬ прерываем все). Кстати, это очень дешевая операция(расстояние между отрезками).

3) Таким образом находим два САМЫХ близких ребра.

4) извлекаем из минимума квадратный корень, как результат. ну и прописываем ближайшие точки как бонус-результат.

Эта задача легко формализуется для любого N-мерного пространства

Ну если чуток оптимизировать то что я перед этим говорил:
1) берем любое ребро первого контура. находим ближайшее к нему у второго.
2) для этого ближайшего находим ближайшеее из оставшихся в первом полигоне.

ЗЫЖ зреет еще один бредовый вариант (кто знает). упорядочить от начала координат( но без подсчета расстояния ). затем проверить их ребра. Это как использовать проекции на оси.

да она много где решается. Пересечение выстрела с поверхностью не имеет ничего общего с расстоянием между контурами. Вот сейчас смотрю на алго Quake3 и в упор там не вижу того что надо было решающему.

И потом ему как я понял было надо не тот факт что эта задача решается на раз там или на два. Ему нужен был алго.