ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
13 сообщений из 13, страница 1 из 1
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984239
Pvase
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pvase
Участник
Здравствуйте.
Есть таблица около 10 млн записей, в ней есть поля, Дата, КодПокупателя, КодТовара,Сумма,Количество и т.п. Но есть одно поле, в котором храниться описание товаров, оно длиной 3000. Можно как-то оптимизировать поиск по этому полю?
p.s.
Что уже сделано.
1 - для таблицы сделал ColumnStore индекс
2 - разместил базу в памяти с хеш индексом по колонке поиска.
Что получилось:
Выборка по таблице ColumnStore - запрос 9 минут 45 секунд
Выборка по таблице InMemοry - 9 минут 10 секунд.
Это очень много, подскажите, какие еще могут быть варианты решения данного вопроса?
...
Рейтинг: 0 / 0
27.07.2020, 09:12
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984251
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Полнотекстовый поиск
...
Рейтинг: 0 / 0
27.07.2020, 09:53
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984492
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
Pvase
Это очень много, подскажите, какие еще могут быть варианты решения данного вопроса?
Зависит от требований к поиску.
...
Рейтинг: 0 / 0
27.07.2020, 21:36
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984532
Фотография SIMPLicity_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SIMPLicity_
Участник
Если поиск по like '%...%' то только дополнительными действиями (словарь, индексы вхождения,- не полноценный текстовый поиск, но некий аналог).

Относительно быстро работает like '...%' , если нужен поиск like '%...' то, похоже, имеет смысл сделать поле с реверсом и опять поиск по like '...%' по ревеснутому полю .

IMBO, есличо...
...
Рейтинг: 0 / 0
28.07.2020, 00:54
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984572
uaggster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
uaggster
Гость
SIMPLicity_
Если поиск по like '%...%' то только дополнительными действиями (словарь, индексы вхождения,- не полноценный текстовый поиск, но некий аналог).

Относительно быстро работает like '...%' , если нужен поиск like '%...' то, похоже, имеет смысл сделать поле с реверсом и опять поиск по like '...%' по ревеснутому полю .

IMBO, есличо...

Если нужен поиск по like '%...%' - то либо полнотекстовый поиск, если ищут, в основном, по словам, или сделать UPPER поля, и перевести его бинарный коллэйт (статически, разумеется, а не в запросе).
По полям с бинарным коллейтом like '%...%' происходит раза в три быстрее.
...
Рейтинг: 0 / 0
28.07.2020, 09:37
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39984601
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Pvase,

если есть неатомарные поля, то такие поля преобразуют в атомарные, после чего выполняют поиск по таблице с атомарными значениями. Один из вариантов - механизм полнотекстного поиска, но он будет искать не произвольную строку, а по словам, которые начинаются с заданных символов с прочими модификаторами поиска.
Второй вариант - использовать самописный механизм разбора строки на атомарные единицы. При этом каждый элемент словаря связан со своей строкой. Например, буква А связана со строками 10,34,15, Б со строками 12,14,15 и так далее. Такое решение где-то упоминалось на форуме.

Кроме того, убедитесь, что у вас выполняется параллельный план запроса.
...
Рейтинг: 0 / 0
28.07.2020, 12:50
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39985685
Фотография SIMPLicity_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SIMPLicity_
Участник
uaggster
SIMPLicity_
Если поиск по like '%...%' то только дополнительными действиями (словарь, индексы вхождения,- не полноценный текстовый поиск, но некий аналог).

Относительно быстро работает like '...%' , если нужен поиск like '%...' то, похоже, имеет смысл сделать поле с реверсом и опять поиск по like '...%' по ревеснутому полю .

IMBO, есличо...

Если нужен поиск по like '%...%' - то либо полнотекстовый поиск, если ищут, в основном, по словам, или сделать UPPER поля, и перевести его бинарный коллэйт (статически, разумеется, а не в запросе).
По полям с бинарным коллейтом like '%...%' происходит раза в три быстрее.


Сильно не практиковался. Уточните, пожалуйста, а " е " и " ё " будут идентичными в поиске при варианте " или сделать UPPER поля, и перевести его бинарный коллэйт (статически, разумеется, а не в запросе) " ?
...
Рейтинг: 0 / 0
31.07.2020, 20:08
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986003
uaggster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
uaggster
Гость
SIMPLicity_, Нет, не будут. Чтобы е и ё были одинаковыми, сравнивать нужно в коллейшне cyrillic_general_ci_ai или cyrillic_general_cs_ai (Если нужно, чтобы прописные и строчные отличались).
Но тут никакого ускорения как раз и не будет.
...
Рейтинг: 0 / 0
02.08.2020, 22:57
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986056
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
uaggster
SIMPLicity_, Нет, не будут. Чтобы е и ё были одинаковыми, сравнивать нужно в коллейшне cyrillic_general_ci_ai или cyrillic_general_cs_ai (Если нужно, чтобы прописные и строчные отличались).
Но тут никакого ускорения как раз и не будет.


поясните плз выделенное
если это хранится в юникодных полях ?
...
Рейтинг: 0 / 0
03.08.2020, 10:00
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986094
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Владислав Колосов
Второй вариант - использовать самописный механизм разбора строки на атомарные единицы.

Поддерживаю. Надо разбить на слова, прикрутить морфологический словарь, слова проиндексировать и всё запихать в таблицу вида id слова, форма слова, id товара. Поисковую фразу также преобразовать в id/форму слова и искать уже по этой таблице, а там поиск будет достаточно быстрый.
...
Рейтинг: 0 / 0
03.08.2020, 12:02
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986107
Фотография SIMPLicity_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SIMPLicity_
Участник
uaggster
SIMPLicity_, Нет, не будут. Чтобы е и ё были одинаковыми, сравнивать нужно в коллейшне cyrillic_general_ci_ai или cyrillic_general_cs_ai (Если нужно, чтобы прописные и строчные отличались).
Но тут никакого ускорения как раз и не будет.

Спасибо за уточнение. Так и думал. Хотя ни кто не мешает предварительно Ё менять на Е (мЁд и мЕд , конечно, это совершенно разные слова, но где-то такое совпадение может быть допустимым).
...
Рейтинг: 0 / 0
03.08.2020, 13:00
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986122
iap
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iap
Участник
crutchmaster
Владислав Колосов
Второй вариант - использовать самописный механизм разбора строки на атомарные единицы.

Поддерживаю. Надо разбить на слова, прикрутить морфологический словарь, слова проиндексировать и всё запихать в таблицу вида id слова, форма слова, id товара. Поисковую фразу также преобразовать в id/форму слова и искать уже по этой таблице, а там поиск будет достаточно быстрый.
http://social.technet.microsoft.com/wiki/ru-ru/contents/articles/12921.full-text-ru-ru.aspx
...
Рейтинг: 0 / 0
03.08.2020, 14:19
| Ответить | Цитировать | Написать  
MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
    #39986249
Фотография SIMPLicity_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SIMPLicity_
Участник
iap
crutchmaster
пропущено...

Поддерживаю. Надо разбить на слова, прикрутить морфологический словарь, слова проиндексировать и всё запихать в таблицу вида id слова, форма слова, id товара. Поисковую фразу также преобразовать в id/форму слова и искать уже по этой таблице, а там поиск будет достаточно быстрый.
http://social.technet.microsoft.com/wiki/ru-ru/contents/articles/12921.full-text-ru-ru.aspx


Тогда уж сразу и это (STRING_SPLIT): https://docs.microsoft.com/ru-ru/sql/t-sql/functions/string-split-transact-sql?view=sql-server-ver15 ;)
...
Рейтинг: 0 / 0
03.08.2020, 21:19
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / MS SQL 2019 поиск в таблице по строковой колонке длиной varchar(3000)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&msg=39984251&tid=1685819]:
 0ms
get settings:
 12ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 44ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 2ms
others: 16ms
total:  161ms
созд. / загр.: 161ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]