"принадлежит ли контур ID1 контуру ID2" - означает ли это что количество и коодинаты ВСЕХ точек обеих контуров должны совпадать, или у какого-либо из контуров может быть меньше/больше точек ?

Хм, мне кажется что для каждой точки контура должен быть какой-то порядковый номер. Иначе как вы определяете, что 2 конкретные точки контура яляются соседними точками, т.е. являются гранью контура?

Предложу такой вариант
- контур(фигура) определяется количеством точек, соединенных отрезками. Т.е. сложный контур(фигура), например, тот же круг - это много точек(в зависимости от точности), но все равно соединенных отрезками.

- каждая точка контура имеет номер и соединена только с 2 соседними точками(номер+1 и номер-1)

Тогда

--таблица контуров
create table #figure(figure_id int, point_nr int, x int, y int)

--1-st figure
insert #figure values(1, 1, 1, 1)
insert #figure values(1, 2, 1, 10)
insert #figure values(1, 3, 15, 10)
insert #figure values(1, 4, 10, 1)

--2-nd figure
insert #figure values(2, 1, 2, 2)
insert #figure values(2, 2, 7, 7)
insert #figure values(2, 3, 5, 4)

--3-rd figure
insert #figure values(3, 1, 6, 3)
insert #figure values(3, 2, 9, 9)
insert #figure values(3, 3, 12, 7)

--4-th figure
insert #figure values(4, 1, 1, 20)
insert #figure values(4, 2, 5, 25)
insert #figure values(4, 3, 10, 20)

declare @id1 int, @id2 int
set @id1 = 1
set @id2 = 2


--вычисляем все отрезки для контура ID1
--1. отрезок от последней точки контура к первой вычисляем отдельно
select TOP 1 a.x as x11, a.y as y11, 0 as x12, 0 as y12 into #temp1 from #figure a where a.figure_id = @id1 order by a.point_nr desc
UPDATE #temp1 SET x12=a.x, y12=a.y from (select top 1x, y from #figure where figure_id = @id1 order by point_nr asc) AS a

--2. вычисляем все остальные отрезки для контура ID1
insert #temp1 select a.x, a.y, b.x, b.y
from #figure a inner join #figure b on b.figure_id = a.figure_id and b.point_nr = (a.point_nr + 1)
where a.figure_id = @id1

--3. для удобства в каждом отрезке точку с меньшей координатой по X располагаем левее
update #temp1 set
x11=case when x11 > x12 then x12 else x11 end,
x12=case when x11 > x12 then x11 else x12 end,
y11=case when x11 > x12 then y12 else y11 end,
y12=case when x11 > x12 then y11 else y12 end


-- все эти же шаги выполняем для контура ID2
-- 1.
select TOP 1 a.x as x21, a.y as y21, 0 as x22, 0 as y22 into #temp2 from #figure a where a.figure_id = @id2 order by a.point_nr desc
UPDATE #temp2 SET x22=a.x, y22=a.y from (select top 1 x, y from #figure where figure_id = @id2 order by point_nr asc) AS a

--2.
insert #temp2 select a.x, a.y, b.x, b.y
from #figure a inner join #figure b on b.figure_id = a.figure_id and b.point_nr = (a.point_nr + 1)
where a.figure_id = @id2

--3.
update #temp2 set
x21=case when x21 > x22 then x22 else x21 end,
x22=case when x21 > x22 then x21 else x22 end,
y21=case when x21 > x22 then y22 else y21 end,
y22=case when x21 > x22 then y21 else y22 end

--основная идея в том, что ни один отрезок из контура ID2 не должен пересекать ни одни отрезок из контура ID1
select *, case when x12 > x21 and x11 < x22 and y12 > y21 and y11 < y22 then 1 else 0 end as catch_you from #temp1 a, #temp2 b
order by x11, y11, x12, y12


Остается выяснить не лежит ли второй контур полностью снаружи первого контура. Можно попробовать такой вариант - никакой отрезок, соединющий любые точки из ID1 не должен пересекать ни один отрезок, составляющий контур ID2.

Вот приблизительно моя идея

PS
Вполне возможно (и даже скорее всего) в математике есть более оптимальные алгоритмы.