Гость
Форумы / Microsoft Access [игнор отключен] [закрыт для гостей] / Семантическая классификация в Access - справится? / 10 сообщений из 10, страница 1 из 1
14.01.2020, 21:44
    #39913984
kiratut
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Вопрос, потянет ли Акцесс с миллионом записей и что из кода можно найти здесь для реализации схемы на картинке.
Одна запись (в сумме все поля) может тянуть на 2 кб символьного представления.
Желательно применить язык поиска (как в яндекс поиске), либо regexp на край.
Принципиальна скорость пересчета таблиц 4 и 6 семантических мепингов.

/что смутно - спрашивайте
...
Рейтинг: 0 / 0
14.01.2020, 23:07
    #39914021
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Да справится, чего бы не справиться-то? только я бы делал это всё же кодом на VBA, а не запросами...
...
Рейтинг: 0 / 0
14.01.2020, 23:17
    #39914022
Predeclared
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
А я бы "легкие" случаи решил Jet-ом (их большинство, полагаю),
а "нестандартные" уже можно и МИФ-ом добить.
...
Рейтинг: 0 / 0
15.01.2020, 00:37
    #39914041
sdku
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Заголовок скрина "Классификация записей по классам(типам) должностей" наталкивает на одну мыслю-а что мешает добавить в таблицу поле [типДолжности] и создать справочник типов
...
Рейтинг: 0 / 0
15.01.2020, 05:23
    #39914053
MrShin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Миллион записей по 2 кб - это 2Гб, а начиная уже с 1.5 Гб Акцесс начинает глючить. По картинке не видно тип поля должности. Если это просто текст, а не поле подстановки с кодом, то полное сканирование миллиона строк будет занимать вечность. Насколько я понимаю, требуется отбор людей по типу должности? В этом случае нужно будет полное сканирование, результат вас неприятно удивит. Обязательно должен быть индекс для отбора записей в основной таблице. Можно добавить поле с кодом типа должности, по нему отбор будет идти быстро. Заполнить этот код можно один раз при создании или изменении должности.
Вообще для анализа данных по колонкам в таблицах с большим числом записей Акцесс далеко не лучшая база. Идеально работают базы с колоночным типом хранения данных типа MariaDB ColumnStore - анализ данных в колонке при паре миллионов записей занимает доли секунды.
...
Рейтинг: 0 / 0
15.01.2020, 07:42
    #39914067
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Predeclared
я бы "легкие" случаи решил Jet-ом (их большинство, полагаю)
Мне жаль тебя огорчать, но "лёгких" случаев не предвидится. Шаблоны неоднозначны, следовательно, нужно работать с приоритетами. При отсутствии оконных функций это занятие, мягко говоря, геморройноватое, требующее работы с несколькими копиями таблицы, что при указанном количестве записей превратится в чёрт знает что и закончится, скорее всего, переполнением файла БД.
...
Рейтинг: 0 / 0
15.01.2020, 10:41
    #39914144
kiratut
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
MrShin
Миллион записей по 2 кб - это 2Гб, а начиная уже с 1.5 Гб Акцесс начинает глючить. По картинке не видно тип поля должности.


Уточню конечную задачу.
Этот пример с должностями упрощённый, в реальной БД десятки полей, с текстовым представлением, которые хотелось бы объединить как текст и по ним искать шаблоны.

Итак. Задача классифицировать записи по принадлежности к темам, основываясь на тексте полей и сочетаниях значений полей.
Размерностей тематик - больше 1, т.е. справочник тем по контексту 1, отдельный справочник по контексту 2 - от 5 до десятков контекстов. Контекст, для понимания, например - это тип должности по иерархии управления, или отнесение статьи к случаю применения agile и гибких методов управления проектами.
Текст написан людьми и не всегда без ошибок, много синонимов, терминов, склонения.
Таких записей сейчас например 1 млн., десятки контекстов, каждый контекст может иметь десяток шаблонов.
Решать задачу перебором 1млн Х 100 Х 10 записей? потянет акцесс? Или колоночные БД - единственно производительный вариант?
...
Рейтинг: 0 / 0
15.01.2020, 10:49
    #39914151
kiratut
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
sdku
Заголовок скрина "Классификация записей по классам(типам) должностей" наталкивает на одну мыслю-а что мешает добавить в таблицу поле [типДолжности] и создать справочник типов

Это не задача класса "создать учетную систему", где все типы заранее стабилизированы. Задача поиска контекста в тексте, который бы относил запись к тому или иному типу. В этом же примере Тип должности опирается на набор поисковых шаблонов и текст "директор" можно отнести как топ-позиции "генеральный директор", так и к линейной "директор проекта".
...
Рейтинг: 0 / 0
15.01.2020, 17:56
    #39914493
Predeclared
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Akina
..., но "лёгких" случаев не предвидится...

Да, я уже это понял.
Первоначальная задача "дайте воды напиться" переросла в "что и переночевать негде". :)

Akina
..., и закончится, скорее всего, переполнением файла БД...

Решение этой задачи - хороший повод подергать многоядерный процессор за все его титьки ядра.

Или в новомодных версиях Access уже научили Jet и VBA задействовать все ядра? (я не нашел ответа в спецификации)
...
Рейтинг: 0 / 0
15.01.2020, 19:47
    #39914543
vmag
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Семантическая классификация в Access - справится?
Predeclared
Или в новомодных версиях Access уже научили Jet и VBA задействовать все ядра? (я не нашел ответа в спецификации)


ядра пока дергала и дергает ОС...
...
Рейтинг: 0 / 0
Форумы / Microsoft Access [игнор отключен] [закрыт для гостей] / Семантическая классификация в Access - справится? / 10 сообщений из 10, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]