Привет! У меня есть 2 таблицы, одна на 300млн. строк (ТАБ1) и вторая на 20млн. строк (ТАБ2)

Я написал команду по нахождению совпадений:
select * from tab1, tab2
where tab1 = tab2

В обеих таблицах по одной колонке с данными типа "hC98hvW374hoEd7V8d", при создании таблиц в настройках ставил маркеры NN и Binar, формат VARCHAR (100).

Сравнение запустилось, но вот уже прошло больше 1 часа, но процесс не заканчивается, и хз когда закончится. И при чем ресурсы не затрачиваются, ОЗУ свободно ещё 30гб, проц холодный, нагрузка 10-17%, 2 gtx1080ti вообще прохлаждаются на 0% загрузки.
В общем как ускорить процесс, может можно как-то настроить чтобы ресурсов больше затрачивалось? Может есть у кого какие идеи?
Потому что скорость слишком мала, файл на 20млн. строк тестовый, закинул посмотреть найдет ли три заранее спрятанных совпадения. А так на очереди файл под 1 МЛРД. строк, но с такой скоростью пока что это не имеет смысла.

Melkij на каждую строку левой таблицы перебирать всю правую таблицу.

Мне нужно чтобы каждую строку из файла 20млн. строк проверил на совпадения в файле с 300 млн. строк.
Как меня уверяли, что база sql легко с этим справится за пару минут, и ничего там настраивать не надо особо, что такое ключи и прочее я хз, мне сказали поставить флажки и выбрать варчар (100), дальше типа по команде пойдет сравнение с богоподобной скоростью.

не ключи а индексы

как и куда эти индексы ставить в workbenchе?

Для обеих таблиц нужно делать индексы?

Akina,
а индексы уникальные ставить? У меня все значения в строках уникальные, в рамках одной таблицы совпадений нет.

miksoftя бы сделал только у большей таблицы.
И в запросе меньшую таблицу сделал ведущей, а большую ведомой.

А это как сделать, я имею ввиду ведущую или ведомую. Большую таблицу поставил на процесс индексирования, вот уже час идет.

Akina,

ровно 3, специально их туда внедрил для теста.

Пока ещё идет индексация большой таблицы. В принципе мне без разницы каким способом все это делать. Мною на другом ресурсе был поставлен вопрос о том, с помощью каких ресурсов можно сделать перебор на совпадения в текстовых файлах от 30 до 100 Гб веса, мне посоветовали SQL, поэтому данный способ и проверяю. Мне в целом и Excel подошел бы по задаче, но у него лимит 1 млн. строк, это где то 40Мб.
Если с sql не получится, даже хз какие ещё варианты использовать.

Т.е. для ясности, у меня есть файл с 300 млн. значений - базовые, т.е. они в стоке будут всегда. А есть постоянно пополняющийся файл, он может в конечном виде и 1 и 2 млрд. значений иметь, но это не суть, главное своевременно, можно даже по частям, эти значения проверять на совпадения в стоковом файле. И вроде задача то не самая сложная по структуре, но как на практике оказалось, не то что мощностей не хватает, а именно искусственные везде какие-то лимиты, ограничения, и вот так просто не получается.

Akina,

Это действительные данные

miksoftСоединять нужно по одному полю, а не по всей строке, насколько я понял задачу.

Да, но пока жду что получится с индексом, уже 12 часов пыхтит, вроде недолго осталось но места конечно он мне ппц как занял в ходе данной процедуры. Завтра отпишусь, что получится.

Все, индексы поставил, теперь сравнение проходит за 7-8 минут, спасибо что подсказали!)

А вот ещё вопрос такой, этот процесс сам по себе не жрет у меня ресурсы, легкая загрузка цп да и только. А можно как то 2 (или больше) таких процесса запараллелить? Или для этого нужен другой локальный сервер, и как следствие другая ОС? Просто настроек по увеличению производительности процесса в му.ini или в самом Workbenche я увы не нашел.

miksoft,

CREATE TABLE `rustts` (
`rustts` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
KEY `idxrustts` (`rustts`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Это таблица на 300млн.

И такая же на 20 млн.
CREATE TABLE `uss`.`biground` (
`biground` VARCHAR(100) BINARY NOT NULL)
ENGINE = MyISAM;

iNDEX:

Type BTREE
Allows NULL Yes
Unique No

miksoft,

Да по одному полю в таблице, просто там написано: "Если исходная информация - текстовые файлы, и проверку надо сделать один раз", вот про один раз я не понял, я буду делать много таких проверок, просто будут заменяться данные в таблице где 20 млн. строк.

Форматы одинаковые, просто я из разных мест скопировал. Ок, предложенный метод испробую.
Длинна данных разная, но состоят только из лат. букв (мелких и заглавных) и цифр.

В целом конечно, конкретно для моих задач, результат проверки таблиц 20млн. на 300 млн. = 7-8 минут, т.е. 2-3 млн. в минуту это нормально. Просто было интересно, можно ли задействовать имеющиеся ресурсы видеокарт из под винды, чтобы повысить производительность. А то, почитаешь перед покупкой сколько Терафлопс выдают новоиспеченные модели карт, а на деле все эти мощности хз как использовать, именно для полезной нагрузки.

miksoft,

Ну InnoDB я пытался в самом начале сделать, но там постоянно мне какие-то ошибки выдавал в некоторых строках при импорте записей в таблицу, а если получалось игнорировать ошибки в строках, workbench зависал намертво.

miksoftОшибки про дубли?

1262 it contained more data than there were input columns - вот это было и ещё 1062.

полудух,
Да, разных размеров

Т.е. получается если в VirtualBox включить такой же сервер, и поставить ту же задачу, параллельно на реальной винде будет такой же процесс висеть, они оба будут нагружать одно и то же ядро?

miksoft,

аа, точно, ок!