Всем привет!

как бы вы решили такую задачу:
Требуется сравнить 1 000 000 ( и более) записей и выдать различия , коих будет до 100
С одной стороны xml файл с 1 000 000 записей
С другой база данных с данными раскиданными по разным таблицам (имеется ввиду, что для того чтобы собрать одну запись для сравнения с данным из файлов нужно сходить в несколько таблиц)

Количество данных в базе тоже 1 000 000.

Какие идеи?

Blazkowicz,

я в самом начале пути, ещё ничего не пробовал. Занимаюсь premature optimization. По другому и назвать сложно.

4) уложится в 10 минут - ограничение по времени.

Спасибо! пока писал ответное письмо решил много проблем реализации. :) Пойду по пути как Вы описали, с той лишь разницей, что буду выкачивать из базы кусками, а не по одному.

А если упрусь в производительность - подниму вопрос снова.

publexus,

думал и о вгрузке значений в базу данных, потом сделать дифф таблиц, но это сложно реализовывать.

И прибыль от этого подхода довольно призрачна, ибо мы всё равно данные качаем, что из, и что в. А сравнить в коде 1 мильён и 1 мильён в базе разница будет не очень большой. наверно...

BlazkowiczAnatoly DПойду по пути как Вы описали, с той лишь разницей, что буду выкачивать из базы кусками, а не по одному.

Для оптимизаций надо уже смотреть конкретно на структуры. Если база нормализована, то приходится ли некоторые записи ассоциаций выбирать несколько раз для базовой таблицы? Если, да, то их можно закешировать на уровне Java.
Данные как-то упорядочены в XML? Если да, то, конечно, можно предварительно загрузить больше данных в память.
Объем данных считали уже? Сколько весит XML? А БД? Можно базу с индексами целиком в памяти развернуть и свети IO к нулю.

XML порядка 300 MB, но буду разбивать по несколько XML поменьше.
А база 60 Гигов весит, развернуть-то можно, но не поймут меня. :)
Сейчас попробую "в лоб" решить, посмотрим, нужно ли будет оптимизировать вообще.

Petro123Anatoly Dpublexus,

думал и о вгрузке значений в базу данных, потом сделать дифф таблиц, но это сложно реализовывать.

И прибыль от этого подхода довольно призрачна, ибо мы всё равно данные качаем, что из, и что в. А сравнить в коде 1 мильён и 1 мильён в базе разница будет не очень большой. наверно...
непонятно что у вас за База.
Обычно - это предметная область, а не хранилище строк.
Там лежат только валидные данные. Нар. заключённые Договора.
Если там склад строк, то качать в БД конечно не надо.
В нормальную БД делают импорт с валидацией. Мусорки там нет.

да с чего вы взяли что там хранилище строк-то? :)
пример xml <record attr1="" attr2="" etc. attrN=""> и мапятся аттрибуты на разные таблицы, я не понимаю, почему я Вас не понимаю :)

publexusAnatoly Dpublexus,

думал и о вгрузке значений в базу данных, потом сделать дифф таблиц, но это сложно реализовывать.

И прибыль от этого подхода довольно призрачна, ибо мы всё равно данные качаем, что из, и что в. А сравнить в коде 1 мильён и 1 мильён в базе разница будет не очень большой. наверно...

Загрузить однажды в базу и затем можно использовать SQL для сравнения (но это при условии что вы владеете XML).

На уровне БД сравнение будет происходить гораздо быстрее, однозначно, нежели парсить XML и на ходу искать в базе.
К тому при периодической необходимости при обновлении XML можно будет заливать только новые добавленные (или измененные) записи а не весь XML и сравнивать. А в случае варианта Blazkowicz вам придется снова обрабатывать весь XML.

XML - ежедневная сверка по сути. он будет одноразовым на один день. То бишь, прогнал сверку, всё сошлось - всем спасибо XML в архив и ждём следующего дня и следующую сверку.

Blazkowicz
Anatoly DА база 60 Гигов весит, развернуть-то можно, но не поймут меня. :)

Вроде было всего 1М записией в постановке задачи :)



да там ваще много всего :) 1 мильён это для упрощенного описания. Так-то 1М - это ожидаемое количество новых добавлений в день.