|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster Там есть queue? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2019, 12:10 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Там есть queue? А у кого бд поддерживает такие структуры вообще? Если знаешь бд, которые умеют делать ссылки, то очень интересно. Так-то queue накостылить просто и скормить inmemory db, которая сбросит их на диск. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2019, 12:22 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster, топик вообще не про БД! ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2019, 14:21 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Рассматривал : - BerkeleyDb (там вроде очередь поддерживается) - Redis (не Java-native) - KahaDb (из репозитария Apache ActiveMQ). Нууу вот же. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 04:25 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster mayton Рассматривал : - BerkeleyDb (там вроде очередь поддерживается) - Redis (не Java-native) - KahaDb (из репозитария Apache ActiveMQ). Нууу вот же. Хорошо. Давай зайдем с другой стороны. Как ты организуешь очередь FIFO в базе данных? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 11:50 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Как ты организуешь очередь FIFO в базе данных? Никак. Зачем её там огранизовывать? Очередь в яве, при добавлении/извлечении это всё сбрасывается в бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 11:58 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster mayton Как ты организуешь очередь FIFO в базе данных? Никак. Зачем её там огранизовывать? Очередь в яве, при добавлении/извлечении это всё сбрасывается в бд. Очередь большая. В память не влезает. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:03 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Очередь большая. В память не влезает. Ленивую подгрузку какую-нибудь замутить. Нужна ли тут бд вообще? Я б закостылил что-нибудь на RandomAccessFile. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:12 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster mayton Очередь большая. В память не влезает. Ленивую подгрузку какую-нибудь замутить. Нужна ли тут бд вообще? Я б закостылил что-нибудь на RandomAccessFile. Ну вот если развивать идею то она и вытекает либо в RandomAccessFile либо в библиотеку. Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb). Костылить сейчас сразу свою библиотеку я не хочу. Объекты будут иметь вариативный размер поэтому сама по себе структура их хранения в этом RAF будет не-тривиальной. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:14 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Очередь большая. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:24 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Костылить сейчас сразу свою библиотеку я не хочу. Не, так не интересно. Сделал бы проект на гитхабе с тестами, а то пишут одни джуны со своими тз. mayton Объекты будут иметь вариативный размер поэтому сама по себе структура их хранения в этом RAF будет не-тривиальной. Да ну. Обычная каша с разделителями. Ты же не будешь там по записям прыгать в случайном порядке, а читать сразу большими кусками от разделителя до разделителя, потом помечать, что вычитал, что отправил, где остановился. mayton Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb). Там своя специфика будет, я думаю. В итоге придётся лепить что-то пригодное из того, что для этого не предназначалось и собирать грабли. Вполне может выйти так, что времени сил и нервов на это уйдет больше, чем на велик. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:27 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Не рассматривал базы данных т.к. это оверхед и сортировки по дате всегда тормознутые. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:30 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton BerkeleyDb викиПоследняя версия 6.0.20 (10 июня 2013 года) Я не хочу тебя расстраивать, но по-моему оно уже сдохло. Я за велик. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:31 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Почему мне не подошли MQ системы? Ну по той причине что от MQ мне нужен был только персистенс. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:33 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster Я за велик ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:34 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mayton Очередь большая. У нас нет транзакций. Просто загрузка. Ее можно трактовать как транзакцию а можно и нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:35 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Как ты организуешь очередь FIFO в базе данных? Организовать то без проблем, но ты понимаешь что жесткое FIFO это жесткая сериализация? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:37 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Ее можно трактовать Смотри, если очередь не выгребать, то НИКАКОЙ ПАМЯТИ не хватит. Очевидно? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:37 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp а сортировка?)) А зачем? Там же просто fifo с двумя метками. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:37 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster А зачем? Там же просто fifo с двумя метками. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:37 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton, Зачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:39 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster mayton Либо в коробочное решение которое вроде как Queue поддерживает (BerkeleyDb). Там своя специфика будет, я думаю. В итоге придётся лепить что-то пригодное из того, что для этого не предназначалось и собирать грабли. Вполне может выйти так, что времени сил и нервов на это уйдет больше, чем на велик. Да там своя специфика. Вот - картинка есть на эту тему. https://www.oracle.com/technetwork/database/database-technologies/berkeleydb/berkeley-db-datasheet-132390.pdf Это говоря грубо. Вообще не SQL-dbms. Это встраиваемая система которая поддерживает B+Tree, Hastable, Queue-организованные табличные структуры. Диалект SQL там вообще не основной API. Как в key-value. Он может поддерживаться но как дополнительная услуга. Чтоб не было так страшно на нее смотреть невооруженным глазом. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:40 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mayton Ее можно трактовать Смотри, если очередь не выгребать, то НИКАКОЙ ПАМЯТИ не хватит. Очевидно? Да. У нас процесс продюсер будет работать быстрее чем консюмер. Но консюмер за 1 сутки должен подобрать то что продюссер наформировал за 1 час. (Это всё цифры приближенные. Не цепляйтесь к ним.) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:42 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
crutchmaster mayton, Зачем? Зачем что? Сортировка? Низачем. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:42 |
|
Queue с поддержкой сериализации на диск.
|
|||
---|---|---|---|
#18+
mayton Это говоря грубо. Вообще не SQL-dbms. Это встраиваемая система которая поддерживает B+Tree, Hastable, Queue-организованные табличные структуры. Ну вот зачем всё это тащить ради одного queue? Вместо этого же можно весело провести время за изобретением велика! ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2019, 12:45 |
|
|
start [/forum/topic.php?fid=59&msg=39906075&tid=2120961]: |
0ms |
get settings: |
16ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
226ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
465ms |
get tp. blocked users: |
0ms |
others: | 297ms |
total: | 1016ms |
0 / 0 |