ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Как обработать таблицу с олимпиардом записей ?
11 сообщений из 11, страница 1 из 1
Как обработать таблицу с олимпиардом записей ?
    #39790348
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Дано: таблица с 20+ миллионами записей.
Задача: Считать таблицу и положить её в Hazelcast

В приложении используется spring JdbcTemplate.

Если считывать всё сразу, что вылетает OutOfMemoryError.

Какие есть варианты?


Пока нашёл

1. https://stackoverflow.com/a/49298569/2674303
2. самодельная либа https://github.com/alexkasko/springjdbc-iterable#spring-jdbctemplate-extension-that-returns-iterators

Может что-то получше есть?
...
Рейтинг: 0 / 0
23.03.2019, 01:34
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790349
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
questioner,

а реплику на Hazelcast никак настроить нельзя? Было бы очень круто.
...
Рейтинг: 0 / 0
23.03.2019, 01:51
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790351
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
По 1 строчке - медленно. Все строчки - OOM Exception.

Наверное не трудно найти золотую середину. Грузить по 2,4,8,16 e.t.c до тех пор пока не достигнем
асимптоматически гладкой полочки на графике скорости. Тут можно и сказать что сказке конец.

И еще я-бы почитал доки по этому "орешнику". Обычно производитель любой системы
хранения данных знает секреты быстрой загрузки. Это может называться batch load.
Или bulk-load. Вот в этом направлении надо копать. Тоесть грузить минуя JDBC.
В идеале - сформировать бинарный файл и :примонтировать: его к БД.
Но это в идеале.
...
Рейтинг: 0 / 0
23.03.2019, 02:01
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790356
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
Можно попробовать вот эту примочку

https://www.striim.com/integrations/microsoft-sql-server-hazelcast/

синхронизировать данные в двух базах.
...
Рейтинг: 0 / 0
23.03.2019, 03:38
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790360
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
questioner,
а смысл?
...
Рейтинг: 0 / 0
23.03.2019, 07:09
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790390
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вот тут ещё пишут.

https://stackoverflow.com/questions/37432721/best-way-to-bulk-load-data-in-hazelcast
...
Рейтинг: 0 / 0
23.03.2019, 11:09
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790408
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Вообще хотелось бы обойтись jdbc пока что и не использовать фишечки hazelcast
...
Рейтинг: 0 / 0
23.03.2019, 12:28
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790410
Фотография Герой дня
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Герой дня
Участник
questioner,

а как синхронизировать будете ? вообще, странные решения
...
Рейтинг: 0 / 0
23.03.2019, 13:22
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790446
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Герой дняquestioner,

а как синхронизировать будете ? вообще, странные решения

Уже всё синхронизируется
...
Рейтинг: 0 / 0
23.03.2019, 15:46
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790689
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kachalov
Участник
questionerВообще хотелось бы обойтись jdbc пока что и не использовать фишечки hazelcast
- тама JDBC пагинации хорошо гуглится
...
Рейтинг: 0 / 0
24.03.2019, 22:49
| Ответить | Цитировать | Написать  
Как обработать таблицу с олимпиардом записей ?
    #39790694
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
А зачем мы в топике обсуждаем JDBC?
...
Рейтинг: 0 / 0
24.03.2019, 23:40
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Как обработать таблицу с олимпиардом записей ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39790410&tid=2121412]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 66ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 2ms
others: 14ms
total:  183ms
созд. / загр.: 183ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]