powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Microsoft Access [игнор отключен] [закрыт для гостей] / Семантическая классификация в Access - справится?
10 сообщений из 10, страница 1 из 1
Семантическая классификация в Access - справится?
    #39913984
kiratut
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вопрос, потянет ли Акцесс с миллионом записей и что из кода можно найти здесь для реализации схемы на картинке.
Одна запись (в сумме все поля) может тянуть на 2 кб символьного представления.
Желательно применить язык поиска (как в яндекс поиске), либо regexp на край.
Принципиальна скорость пересчета таблиц 4 и 6 семантических мепингов.

/что смутно - спрашивайте
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914021
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да справится, чего бы не справиться-то? только я бы делал это всё же кодом на VBA, а не запросами...
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914022
Predeclared
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я бы "легкие" случаи решил Jet-ом (их большинство, полагаю),
а "нестандартные" уже можно и МИФ-ом добить.
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914041
Фотография sdku
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Заголовок скрина "Классификация записей по классам(типам) должностей" наталкивает на одну мыслю-а что мешает добавить в таблицу поле [типДолжности] и создать справочник типов
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914053
MrShin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Миллион записей по 2 кб - это 2Гб, а начиная уже с 1.5 Гб Акцесс начинает глючить. По картинке не видно тип поля должности. Если это просто текст, а не поле подстановки с кодом, то полное сканирование миллиона строк будет занимать вечность. Насколько я понимаю, требуется отбор людей по типу должности? В этом случае нужно будет полное сканирование, результат вас неприятно удивит. Обязательно должен быть индекс для отбора записей в основной таблице. Можно добавить поле с кодом типа должности, по нему отбор будет идти быстро. Заполнить этот код можно один раз при создании или изменении должности.
Вообще для анализа данных по колонкам в таблицах с большим числом записей Акцесс далеко не лучшая база. Идеально работают базы с колоночным типом хранения данных типа MariaDB ColumnStore - анализ данных в колонке при паре миллионов записей занимает доли секунды.
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914067
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Predeclared
я бы "легкие" случаи решил Jet-ом (их большинство, полагаю)
Мне жаль тебя огорчать, но "лёгких" случаев не предвидится. Шаблоны неоднозначны, следовательно, нужно работать с приоритетами. При отсутствии оконных функций это занятие, мягко говоря, геморройноватое, требующее работы с несколькими копиями таблицы, что при указанном количестве записей превратится в чёрт знает что и закончится, скорее всего, переполнением файла БД.
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914144
kiratut
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MrShin
Миллион записей по 2 кб - это 2Гб, а начиная уже с 1.5 Гб Акцесс начинает глючить. По картинке не видно тип поля должности.


Уточню конечную задачу.
Этот пример с должностями упрощённый, в реальной БД десятки полей, с текстовым представлением, которые хотелось бы объединить как текст и по ним искать шаблоны.

Итак. Задача классифицировать записи по принадлежности к темам, основываясь на тексте полей и сочетаниях значений полей.
Размерностей тематик - больше 1, т.е. справочник тем по контексту 1, отдельный справочник по контексту 2 - от 5 до десятков контекстов. Контекст, для понимания, например - это тип должности по иерархии управления, или отнесение статьи к случаю применения agile и гибких методов управления проектами.
Текст написан людьми и не всегда без ошибок, много синонимов, терминов, склонения.
Таких записей сейчас например 1 млн., десятки контекстов, каждый контекст может иметь десяток шаблонов.
Решать задачу перебором 1млн Х 100 Х 10 записей? потянет акцесс? Или колоночные БД - единственно производительный вариант?
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914151
kiratut
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sdku
Заголовок скрина "Классификация записей по классам(типам) должностей" наталкивает на одну мыслю-а что мешает добавить в таблицу поле [типДолжности] и создать справочник типов

Это не задача класса "создать учетную систему", где все типы заранее стабилизированы. Задача поиска контекста в тексте, который бы относил запись к тому или иному типу. В этом же примере Тип должности опирается на набор поисковых шаблонов и текст "директор" можно отнести как топ-позиции "генеральный директор", так и к линейной "директор проекта".
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914493
Predeclared
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akina
..., но "лёгких" случаев не предвидится...

Да, я уже это понял.
Первоначальная задача "дайте воды напиться" переросла в "что и переночевать негде". :)

Akina
..., и закончится, скорее всего, переполнением файла БД...

Решение этой задачи - хороший повод подергать многоядерный процессор за все его титьки ядра.

Или в новомодных версиях Access уже научили Jet и VBA задействовать все ядра? (я не нашел ответа в спецификации)
...
Рейтинг: 0 / 0
Семантическая классификация в Access - справится?
    #39914543
Фотография vmag
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Predeclared
Или в новомодных версиях Access уже научили Jet и VBA задействовать все ядра? (я не нашел ответа в спецификации)


ядра пока дергала и дергает ОС...
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / Microsoft Access [игнор отключен] [закрыт для гостей] / Семантическая классификация в Access - справится?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]