Collation базы данных - Cyrillic_General_CI_AS.
В  1й строке таблицы и в переменной @a первый символ "точка".
Во 2й строке таблицы и в переменной @b первый символ "одиночная кавычка".
Я во всех запросах для чистоты эксперимента прописал collate. Но что с ним, что без него, результат один и тот же.

set nocount on;
declare @t table (id int,string varchar(100)); insert @t(id,string) values(1,'.]`]]Я=?'),(2,'''.-^:Я=?');
select * from @t order by left(string,3) collate Cyrillic_General_CI_AS;
select * from @t order by      string    collate Cyrillic_General_CI_AS;

Получаем:
id          string
----------- ----------
2           '.-^:Я=?
1           .]`]]Я=?

id          string
----------- ----------
1           .]`]]Я=?
2           '.-^:Я=?


То есть, если сортируем по 3м и менее первым символам столбца - получаем правильный (с моей точки зрения) результат.
Если по всему столбцу или по первым 4м и более символам, то неверный.

Аналогично, непонятный для меня результат, если использовать переменные:

declare
  @a varchar(100) = '''.-^:Я=?',
  @b varchar(100) = '.]`]]Я=?',
  @s varchar(100) = '         ';
declare
  @q int          = ascii(left(@a,1)),
  @d int          = ascii(left(@b,1));
print concat('dot=',@d,'  quote=',@q);
print '================';

print concat(char(@d),@s,char(@q),@s,     case when  char(@d)  >char(@q)  collate Cyrillic_General_CI_AS then '>' when char(@d)  <char(@q)    collate Cyrillic_General_CI_AS then '<' end);
print concat('.         ''         ',     case when  '.'      > ''''      collate Cyrillic_General_CI_AS then '>' when '.'      < ''''        collate Cyrillic_General_CI_AS then '<' end);
print concat(@b,      '  ',@a,      '  ', case when left(@b,1)>left(@a,1) collate Cyrillic_General_CI_AS then '>' when left(@b,1)<left(@a,1)  collate Cyrillic_General_CI_AS then '<' end);
print concat(@b,      '  ',@a,      '  ', case when left(@b,3)>left(@a,3) collate Cyrillic_General_CI_AS then '>' when left(@b,3)<left(@a,3)  collate Cyrillic_General_CI_AS then '<' end);
print concat(@b,      '  ',@a,      '  ', case when left(@b,4)>left(@a,4) collate Cyrillic_General_CI_AS then '>' when left(@b,4)<left(@a,4)  collate Cyrillic_General_CI_AS then '<' end);
print concat(@b,      '  ',@a,      '  ', case when      @b   >     @a    collate Cyrillic_General_CI_AS then '>' when      @b   <     @a     collate Cyrillic_General_CI_AS then '<' end);

dot=46  quote=39
================
.         '         >
.         '         >
.]`]]Я=?  '.-^:Я=?  >
.]`]]Я=?  '.-^:Я=?  >
.]`]]Я=?  '.-^:Я=?  <
.]`]]Я=?  '.-^:Я=?  <