откуда тогда слухи про 1 000 000 000?
1 строку сравнить с 4999 строк
2 - с 4998строк
3 - с 4997 ...
.....

дак тебе надо найти все совпадения

тебе предлагают перейти на уровень выше - овладеть большими знаниями.
ты говоришь - проверить своё решение, и говоришь что что я не читал..
добавляешь одну строку - и ищешь совпадение с уже имеющимися...
не кажется что у тебя куча противоречий?

значит ты сам не понял своей задачи

miltorg,

авторИз каждой строчки берётся 10 цифр и из них делаются не повторяющиеся комбинации:
не повторяющиеся с чем
первая строка не должна повторяться со 2 по 5000
вторая - с 3 по 5000
так?

miltorg,

твоя идея не правильная - надо сравнивать все строки - рекурсивно
а это долго,
тебе предложили бинарное сравнение

можно сократить - убирать уже совпадшие строки - но это переписывать в новый массив
это все можно сделать в sql - используя хранимку

вот ты думаешь кто-то будет из текстового делать таблицу?
ddl таблицы (уже выложил - это +) ну и скрипт для заполнения таблицы - тогда будут варианты,
а пока тебе предлагают с 4 числами как идею для реализации

поиск дубликатов -- вот о чём я и говорил тут

miltorg,

у тебя может совпасть 4999 строка с 5000 строкой

какая разница?
тебе всё равно надо произвести сравнение одно строки со всеми (если в лоб)
или так

или так

но это если искать совпадение по всем значениям

если искать совпадение по части - то надо сравнивать каждую строку со всеми 4999

потому как 9 совпадений может быть частью из совпадений , где совпадают 12 чисел
число совпадений при бинарном - есть величина
BIT_COUNT()
BIT_COUNT(b'101001001' & b'001001110') = 2

miltorg,

тебе нужно произвести 5000*4999 сравнений с подсчётом числа совпадений