powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
25 сообщений из 200, страница 2 из 8
Queue с поддержкой сериализации на диск.
    #39905406
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton,

HSQLDB смотрел?

Там есть queue?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39905418
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Там есть queue?

А у кого бд поддерживает такие структуры вообще? Если знаешь бд, которые умеют делать ссылки, то очень интересно. Так-то queue накостылить просто и скормить inmemory db, которая сбросит их на диск.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39905558
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster, топик вообще не про БД!
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39905892
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Рассматривал :
- BerkeleyDb (там вроде очередь поддерживается)
- Redis (не Java-native)
- KahaDb (из репозитария Apache ActiveMQ).

Нууу вот же.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906036
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton
Рассматривал :
- BerkeleyDb (там вроде очередь поддерживается)
- Redis (не Java-native)
- KahaDb (из репозитария Apache ActiveMQ).

Нууу вот же.

Хорошо. Давай зайдем с другой стороны. Как ты организуешь очередь FIFO в базе данных?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906043
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Как ты организуешь очередь FIFO в базе данных?

Никак. Зачем её там огранизовывать? Очередь в яве, при добавлении/извлечении это всё сбрасывается в бд.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906048
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton
Как ты организуешь очередь FIFO в базе данных?

Никак. Зачем её там огранизовывать? Очередь в яве, при добавлении/извлечении это всё сбрасывается в бд.

Очередь большая. В память не влезает.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906050
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Очередь большая. В память не влезает.

Ленивую подгрузку какую-нибудь замутить. Нужна ли тут бд вообще? Я б закостылил что-нибудь на RandomAccessFile.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906052
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton
Очередь большая. В память не влезает.

Ленивую подгрузку какую-нибудь замутить. Нужна ли тут бд вообще? Я б закостылил что-нибудь на RandomAccessFile.

Ну вот если развивать идею то она и вытекает либо в RandomAccessFile либо в библиотеку.
Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb).
Костылить сейчас сразу свою библиотеку я не хочу. Объекты будут иметь вариативный размер
поэтому сама по себе структура их хранения в этом RAF будет не-тривиальной.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906062
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Очередь большая.
тут копай. Транзакции слишком длинные?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906064
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Костылить сейчас сразу свою библиотеку я не хочу.

Не, так не интересно. Сделал бы проект на гитхабе с тестами, а то пишут одни джуны со своими тз.
mayton
Объекты будут иметь вариативный размер поэтому сама по себе структура их хранения в этом RAF будет не-тривиальной.

Да ну. Обычная каша с разделителями. Ты же не будешь там по записям прыгать в случайном порядке, а читать сразу большими кусками от разделителя до разделителя, потом помечать, что вычитал, что отправил, где остановился.
mayton
Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb).

Там своя специфика будет, я думаю. В итоге придётся лепить что-то пригодное из того, что для этого не предназначалось и собирать грабли. Вполне может выйти так, что времени сил и нервов на это уйдет больше, чем на велик.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906067
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Не рассматривал базы данных т.к. это оверхед и сортировки по дате всегда тормознутые.
а зачем в очереди fifo сортировка?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906068
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
BerkeleyDb

викиПоследняя версия 6.0.20 (10 июня 2013 года)
Я не хочу тебя расстраивать, но по-моему оно уже сдохло. Я за велик.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906070
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Почему мне не подошли MQ системы? Ну по той причине что от MQ мне нужен был только персистенс.
а сказал что сортировка миллирда
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906071
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
Я за велик
а сортировка?))
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906074
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
mayton
Очередь большая.
тут копай. Транзакции слишком длинные?

У нас нет транзакций. Просто загрузка. Ее можно трактовать как транзакцию а можно и нет.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906075
iOracleDev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Как ты организуешь очередь FIFO в базе данных?

Организовать то без проблем, но ты понимаешь что жесткое FIFO это жесткая сериализация?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906076
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Ее можно трактовать
я это и сделал.
Смотри, если очередь не выгребать, то НИКАКОЙ ПАМЯТИ не хватит. Очевидно?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906077
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
а сортировка?))

А зачем? Там же просто fifo с двумя метками.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906078
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
А зачем? Там же просто fifo с двумя метками.
он хочет. Я спросил зачем?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906079
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

Зачем?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906080
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster

mayton
Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb).

Там своя специфика будет, я думаю. В итоге придётся лепить что-то пригодное из того, что для этого не предназначалось и собирать грабли. Вполне может выйти так, что времени сил и нервов на это уйдет больше, чем на велик.

Да там своя специфика. Вот - картинка есть на эту тему.
https://www.oracle.com/technetwork/database/database-technologies/berkeleydb/berkeley-db-datasheet-132390.pdf
Это говоря грубо. Вообще не SQL-dbms. Это встраиваемая система которая поддерживает B+Tree, Hastable, Queue-организованные
табличные структуры. Диалект SQL там вообще не основной API. Как в key-value. Он может поддерживаться но как дополнительная
услуга. Чтоб не было так страшно на нее смотреть невооруженным глазом.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906082
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
mayton
Ее можно трактовать
я это и сделал.
Смотри, если очередь не выгребать, то НИКАКОЙ ПАМЯТИ не хватит. Очевидно?

Да. У нас процесс продюсер будет работать быстрее чем консюмер. Но консюмер за 1 сутки
должен подобрать то что продюссер наформировал за 1 час.

(Это всё цифры приближенные. Не цепляйтесь к ним.)
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906083
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton,

Зачем?

Зачем что? Сортировка? Низачем.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906086
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Это говоря грубо. Вообще не SQL-dbms. Это встраиваемая система которая поддерживает B+Tree, Hastable, Queue-организованные
табличные структуры.

Ну вот зачем всё это тащить ради одного queue? Вместо этого же можно весело провести время за изобретением велика!
...
Рейтинг: 0 / 0
25 сообщений из 200, страница 2 из 8
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]