а в полях только неотрицательные целые числа?
тогда:

create table #tbl1( col1 int, col2 int)
insert into #tbl1 values (1,2)
insert into #tbl1 values (2,1)
insert into #tbl1 values (7,
insert into #tbl1 values (8,4)
insert into #tbl1 values (7,3)
insert into #tbl1 values (2,6)
insert into #tbl1 values (6,2)

select
col1*col1 + col2*col2 as dist,
(select top 1 col1 from #tbl1 where col1*col1 + col2*col2 = a.col1*a.col1 + a.col2*a.col2 order by col1, col2) as col1,
(select top 1 col2 from #tbl1 where col1*col1 + col2*col2 = a.col1*a.col1 + a.col2*a.col2 order by col1, col2) as col2
from #tbl1 a
group by col1*col1 + col2*col2

можно даже ввести dist в таблицу.