Помогите придумать алгоритм для добавления данных в таблицу.

Ситуация такая:
Есть много текстовых файлов (логи с событиями), которые для удобства обработки надо хранить в MySQL.
Просто занести данные в базу, раскидав по полям, проблем не составляет, на любом языке программирования разобрал файлы и внёс строки. Но файлы пополняются. И следующим этапом надо вносить только новые строки .

Немного расскажу о структуре лог-файла: Файлы с произвольными названиями (иногда они даже могут переименовываться). Файл может быть обнулён и вестись заново. Размер файлов может достигать гигабайта. Уникального идентификатора у записей внутри файлов нет (вначале идут: Дата, Время, Код устройства, и дальше сложное сгенерированное сообщение длинной от 10 байт до 10 килобайт, которое я разбираю на части и раскидываю в несколько десятков полей). Устройство может послать несколько сообщений в секунду, так что Дата+Время+КодУстройства не являются уникальными, но всё же я использую эту связку для проверки - внесены эти данные в базу или нет.

В самом начале я не видел никаких проблем. Написал на Delphi программку, которая вначале делал запрос к базе данных, запрашивая список всех внесённых "Дата+Время+КодУстройства" (этот список в виде отсортированного массива храню в оперативке), и потом по очереди открывал все файлы, и построчно проверял - если "Дата+Время+КодУстройства" есть в списке внесённых - то пропускаю эту строку, если же это новая запись - то вношу. Но когда количество данных перевалило за несколько миллионов - стало тяжело держать массив в памяти.
С другой стороны если подойти к задаче иначе - открывать файл, брать каждую строку и вначале запрашивать - есть ли такая строка в базе - то получается жутко долго (несколько миллионов лишних запросов), да и лог базы данных жутко увеличивается.


Как бы напрямую этот вопрос не касается MySQL (ведь реализуется любым языком программирования), но я посчитал что именно у специалистов связанных с базами данных накоплен наибольший опыт обновления огромных таблиц, и они смотрят на это по другому. Подскажите как бы вы сделали сравнение какие записи надо вносить, а какие нет?

То есть вы предлагаете при каждом обновлении по новому загонять все данные в базу?
Например я только что обновил данные, но через 15 минут я хочу ещё раз посмотреть свежую статистику (чтобы узнать что изменилось за 15 минут), и для этого мне опять загонять 6 миллионов записей?

AkinaЕсли Вы можете отделить данные, поступившие за эти 15 минут, на стадии подготовки их к загрузке...Разумеется я не могу выделить данные поступившие с момента последнего обновления. Иначе бы и вопроса никакого не было. Вопрос-то именно в этом и заключается - как произвести вставку только новых данных.

Метод которым вставляю сейчас - занимает меньше двух минут. Около 30 секунд на выборку из базы идентификаторов уже вставленных данных, и дальше на обход всех файлов в среднем со скоростью около 100мб/с (то есть на 6Гб уходит около минуты), плюс время вставки новых данных. Но как говорил, выборка идентификаторов уже сейчас влезает в оперативку только если выгрузить все программы (файл подкачки не использую), и очевидно что в скором времени объём идентификаторов уже не будет вмещаться в оперативку.

Тут наверно появилось недопонимание: я НЕ разработчик программы которая ведёт логи. Моя задача только дать статистику по собранной информации, для этого я её и скидываю в базу... И уже потом делаю всякую статистику.

Я ни как не могу управлять логами, я не могу делать ротации, я не могу получить даже время модификации файла, так как программа открывает их на запись и держит открытыми (то есть ни переименовать, не удалить тоже не получится так как файл LOCKED). Причём сам файл может и переименоваться, и удалиться, и обнулиться...

Чтобы было немного понятней, объясню: это система сбора сигнализационной информации с мини телефонных станций.
Я когда-то сам хранил в отдельной таблице все названия файлов и размер, до куда считаны данные. Но потом выявилось столько косяков. Время на мини телефонной станции может (устройстве) может не совпадать с моим (и в разных Time-зонах находятся и просто меняться для тестов, а иногда из-за сбоев). Устройства могут могут переноситься в другие регионы, и тогда меняется имя файла. Устройства могут меняться местами, тогда у них взаимно меняются названия. Размеры логов растут бесконечно, но если меняют прошивку устройства, то лог обнуляется (правда перед этим мастера удалённо запускают мою программу и данные не теряются). Я много модифицировал свою программу контроля за файлами: и хранил размер. Потом оказалось что файл обнулился и перерос сохранённый размер, тогда стал хранить последнюю переданную запись из файла. Потом файлы стали меняться названиями, тогда стал хранить и первую строку. Потом поменяются названиями и обнулятся и пополянтся чем-то... В общем мне надоело что постоянно косяки, потеря информации, ведь я борюсь против "чёрного ящика", и я стал прочёсывать все данные отказавшись от контроля за файлами.


AkinaInterSkyРазумеется я не могу выделить данные поступившие с момента последнего обновления.Но хотя бы приблизительно это сделать можно? пусть не всё устаревшее отсечётся, но дублей будет не миллион, а десяток тысяч, например... всё серверу пыхтеть поменьше.Это уже смахивает на какой-то эвристический анализ с использованием искусственного интеллекта.
Вот допустим я знаю что обновление делалось час назад. Открываю файл, а там последняя запись датирована шестью часами назад. Надо ли обрабатывать последние 10 тысяч строк? Нет? А станция находится в Time-зоне которая отличается от моей на 6 часов.
Или открываю файл, а там последней записью идёт запись годовой давности. Надо ли обрабатывать последние 10 тысяч строк? Нет? А там была авария, куча сигнализационных сообщений пришло, потом приехали техники, сбросили настройки, и последними сообщениями пошли с неправильной датой.
В ручную не всегда поймёшь надо ли обновлять, а на автоматическое решение вообще страшно полагаться.


InterSkyОколо 30 секунд на выборку из базы идентификаторов уже вставленных данныхТо есть некий идентификатор всё-таки наличествует... ну и почему же нельзя выполнить предобработку, ориентируясь на него?[/quot]Я же в самом начале говорил - я использую связку "Дата+Время+КодУстройства". Хоть это и не уникальный идентификатор, так как может прийти несколько разных сигнализаций в секунду, но всё же я считаю что если я вносил эту связку, то значит весь тот блок внесён. А так только MD5 делать для контроля уникальности каждой строки.


alex564657498765453выш не собираетесь гигабайты туда писать и до терабайта ити...чтото продумано, как обнулять периодически лог файл.
Как уже писал - это не отменя зависит. Ротацияю сделать не могу, файлы Locked. Да и не в моей компетенции это. Чисто гипотетически: Я его в архив отправил, а его переименовали, и потом в архиве его с другим путать будут.


alex564657498765453тоесть можно просто запоминать смещение от начала файла и его имя, что было обработанно.Опять же я писал, что именно с этого я и начинал. Потом столько раз накололся на этом из-за разных манипуляций с файлами, что после многократного переписывания алгоритма в сторону усиления контроля, в конце решил от этого отказаться.

Dimitry SibiryakovПодменяешь физический файл пайпом на другой конец которого садишь свою программу заливки в БД. Всё, телемаркет.Можно хоть один намёк как это делается в виндоусе? Тут надо сразу учесть что имён файлов я заранее не знаю (99% конечно знаю, но как говорил выше: они могут создаваться и переименовываться), и следовательно второй вопрос - можно ли подключить к пайпу файл который уже Locked (открыт на запись)?

Dimitry SibiryakovInterSkyМожно хоть один намёк как это делается в виндоусе? Тут надо сразу учесть что имён файлов я заранее не знаю (99% конечно знаю, но как говорил выше: они могут создаваться и переименовываться)Значит надо найти способ принудительно указать программе, что логи надо писать исключительно в файл с именем типа \\.\pipe\MySuperLogFileТак я и имел в виду это спрашивая - "Можно хоть один намёк как это делается в виндоусе?"
Я верю что такое возможно в *nix'ах, но не слышал чтобы в виндоусе можно было заставить чужую перенаправить в пайп.

MasterZivInterSkyС другой стороны если подойти к задаче иначе - открывать файл, брать каждую строку и вначале запрашивать - есть ли такая строка в базе - то получается жутко долго (несколько миллионов лишних запросов),
Это быстро. O(log N).Может я делаю что-не не правильно, но у меня на это уходит несколько часов. В то время как поиск по отсортированному массиву в памяти проходит за пару минут. Что в общем-то логично, ведь MySQL обязан выполнять кучу действий при каждом запросе: разбор парсером моего запроса, проверка наличия кеша, запись лог файлов. Я больше ста проверок в оперативке сделаю только за время пока MySQL распарсит мой запрос.

MasterZivInterSkyда и лог базы данных жутко увеличивается.От проверки (операция чтения) логи базы не увеличиваются.Это бинарный не пишет, а текстовый пишет... Мне репликация не нужна, а глазками на причину возникающих проблем всегда хочется посмотреть.

bochkovу файлов же даты создания есть, на них и ориентируйсяФайлы Locked, у них даже дата иногда не меняется месяцами, поскольку программа их держит открытыми (при этом данные внутри нарастают).

ams_arНа вашем месте я бы смотрел в сторону доработки источника, в частности необходимо чтобы система пишущая лог идентифицировала их.Если можно было доработать источник, я бы напрямую данные в базу кидал бы :)

ams_arЕсли все таки нет возможности изменить источник можно подумать в сторону "виртуализации" файла с логом и перенаправить систему генерирующую лог на ваш виртуальный файл.Это очень похоже на идею Dimitry Sibiryakov о пайпах. Но вопрос - Как это сделать в винде? :)

В общем в я пока пришёл к двум мыслям:
1) Создать в базе временную таблицу из одного поля, куда каждый раз закидываю все "Дата+Время+КодУстройства" которые есть во всех текстовых файлах. Потом силами MySQL нахожу только новые, и повторно оббегаю все логи, забирая только те записи которые попали в список новых.
Близкие этой мысли высказывали Akina и Arhat109. Но я считаю этот метод ужасным! Ведь по сути я перебрасываю на MySQL то, с чем столкнулся сам - скоро эти списки не будут помещаться в оперативной памяти, а во сколько выльется проверка при использовании кеша, думаю можно представить.
2) Сделать самому бинарную систему поиска. Открываю лог-файл, беру центральную строку и проверяю её наличие в базе данных. Если нету такой записи - иду на середину в лево (на строку находящуюся на 25-том проценте лога), а если такая строка уже внесена, то иду на правую середину (на строку находящуюся на 75-том проценте лога). В общем бинарно разбивая файл на части пока не найдё то место с которого пошли новые записи. Можно ещё вначале сразу в одном запросе запросить наличие первой и последней записи в файле (если в ответ база даст две строки - значит файл полностью внесён и его трогать не надо, а если база скажет что ничего не найдено, то значит файл можно записывать целиком, так как он никогда не вносился).