Добрый день.
Подскажите, каким образом можно реализовать?

Например есть 100 категорий, и 10000 товаров. Каждый месяц добавляется по 5000 товаров. И распределять вручную долго.
Хочется чтоб товары сами распределились и только спросили подтверждение (возможно подправить самому).

т.е Сделать обучающуюся систему. Нейро сети я врятли потяну, да и опыт в этом нужен.

Я вот думаю название товара делить на слова, удалять слова длинной 1 и 2 символа.

Первые 1000 товаров распределяем сами. И помещаем слова из товара в поле категории... (сумбурно вышло)

например:

Товар : Удочка Daiwa
Длинная удочка Daiwa
Крючок Daiwa
Крючек 2мм Daiwa

В категории : Удочки Daiwa пойдут слова: удочка,Daiws,Длинная
Крючки Daiwa слова: крючок,Daiwa

И при авто распределении сравнивать массив слов и массив слов категории и выставлять % соответствия.
Выбирая самый большой и предпологая что товар принадлежит к ней. Если мы подправляем сами то база соотв. дополнится новыми словами и т.д (дубликаты не добавляются)

Но кажется мне, при 100 категориях и 30 слов в каждой, распределяя 200 товаров (за раз), нужно будет сравнивать исходный массив с каждой категорией ( 20000 сравнений) на выходе мы получим массив с 20000 элементами (процентным соотношением).

Громоздко получается((( Может есть решение лучше?

п.с Для каждой категории вручную прописывать ключевые слова не вариант (но основные будут записаны) т.к не все названия товаров имеют отличительные слова (бренды в названии) например: Крючек для спининговой удочки 2мм DAIWA. Вроде и крючек, а вроде и удочка есть. И в 2 категории подходит

авторзадолбаешься с морфологией.
Это я случайно по привычке склонил слово))
Оно так и пойдет в базу "как есть" и поидее склонения слова сами наберутся со временем,если будут встречаться.

Левенштейн поможет со склонениями, а как сам алгоритм?

т.к если сверять каждое слово (фактически каждое слово в строке сравнить со всеми словами в базе). это дополнительно минимум 6000 операций вывозова ф-и левеншейна.


Я боюсь, что распределение даже 100 товаров может занять все процессорное время. минут на 5, а для 5000 товаров это и вообще непосильная задача выходит(((

И правда получилось не так страшно)))
Правда выводить 100 селектов по 200 категории в каждом медленно, чутка подтормаживает (браузер или инет медленный) когда выводит список.

Теперь осталось посмотреть будет ли это настолько эффективно или придется 50% делать самому т.к перепроверять за ним надо)))