Для индексации данных по строкам использую функцию LCMapString.
Она из строки генерирует ключ по которому и строится индекс. Фозможности этой функции достаточно большие. Можно игнорировать регистр символов или использовать определеную локаль системы.

Все хорошо, когда строки короткие. А когда они длинные, более 100 символов - это плохо, медленно.

Получается так. Сначала я получаю ключ из строки, он в 3-4 раз длинее исходной строки. А при индексации в сравнении используются обычно первые 2-4 символа. До остальных символов очередь не доходит, так как к этому моменту элемент уже нашел место в дереве индекса, куда он будет прикреплен.

А по частям бить строку тоже не верно, можно модификатор случайно отрезать от ведущего символа.

Так вот. Надо как-то генерировать ключ по частям, например по 5-10 байт порциями.
У меня идей пока нет, как это правильно сделать.

Буду копать библеотеку ICU
функции ucol_getSortKey() и ucol_nextSortKeyPart()