Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Java [игнор отключен] [закрыт для гостей] / Как обработать таблицу с олимпиардом записей ? / 11 сообщений из 11, страница 1 из 1
23.03.2019, 01:34
    #39790348
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
Дано: таблица с 20+ миллионами записей.
Задача: Считать таблицу и положить её в Hazelcast

В приложении используется spring JdbcTemplate.

Если считывать всё сразу, что вылетает OutOfMemoryError.

Какие есть варианты?


Пока нашёл

1. https://stackoverflow.com/a/49298569/2674303
2. самодельная либа https://github.com/alexkasko/springjdbc-iterable#spring-jdbctemplate-extension-that-returns-iterators

Может что-то получше есть?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 01:51
    #39790349
Sergunka
Sergunka
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
questioner,

а реплику на Hazelcast никак настроить нельзя? Было бы очень круто.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 02:01
    #39790351
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
По 1 строчке - медленно. Все строчки - OOM Exception.

Наверное не трудно найти золотую середину. Грузить по 2,4,8,16 e.t.c до тех пор пока не достигнем
асимптоматически гладкой полочки на графике скорости. Тут можно и сказать что сказке конец.

И еще я-бы почитал доки по этому "орешнику". Обычно производитель любой системы
хранения данных знает секреты быстрой загрузки. Это может называться batch load.
Или bulk-load. Вот в этом направлении надо копать. Тоесть грузить минуя JDBC.
В идеале - сформировать бинарный файл и :примонтировать: его к БД.
Но это в идеале.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 03:38
    #39790356
Sergunka
Sergunka
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
Можно попробовать вот эту примочку

https://www.striim.com/integrations/microsoft-sql-server-hazelcast/

синхронизировать данные в двух базах.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 07:09
    #39790360
вадя
вадя
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
questioner,
а смысл?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 11:09
    #39790390
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
Вот тут ещё пишут.

https://stackoverflow.com/questions/37432721/best-way-to-bulk-load-data-in-hazelcast
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 12:28
    #39790408
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
Вообще хотелось бы обойтись jdbc пока что и не использовать фишечки hazelcast
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 13:22
    #39790410
Герой дня
Герой дня
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
questioner,

а как синхронизировать будете ? вообще, странные решения
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2019, 15:46
    #39790446
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
Герой дняquestioner,

а как синхронизировать будете ? вообще, странные решения

Уже всё синхронизируется
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2019, 22:49
    #39790689
Kachalov
Kachalov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
questionerВообще хотелось бы обойтись jdbc пока что и не использовать фишечки hazelcast
- тама JDBC пагинации хорошо гуглится
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2019, 23:40
    #39790694
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как обработать таблицу с олимпиардом записей ?
А зачем мы в топике обсуждаем JDBC?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Java [игнор отключен] [закрыт для гостей] / Как обработать таблицу с олимпиардом записей ? / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 506ms
Закрыть
start [/forum/topic.php?fid=59&mobile=1&tid=2121412]:
 0ms
get settings:
 7ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 88ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 2ms
others: 319ms
total:  506ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]