powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
25 сообщений из 200, страница 3 из 8
Queue с поддержкой сериализации на диск.
    #39906093
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
(пожимая плечами)

Ну давай. Начинай. Но инженерный подход в общем случае заключается в поиске и отборе существующих
инструментов. И потом уже собственно в разработке того чего нет.

Тыж не создаёшь свой собственный драйвер для принтера если надо 1 страничку распечатать?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906096
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
PetroNotC Sharp
пропущено...
я это и сделал.
Смотри, если очередь не выгребать, то НИКАКОЙ ПАМЯТИ не хватит. Очевидно?

Да. У нас процесс продюсер будет работать быстрее чем консюмер. Но консюмер за 1 сутки
должен подобрать то что продюссер наформировал за 1 час.

(Это всё цифры приближенные. Не цепляйтесь к ним.)

Можно абстрактно, можно считать память как сишники.
Винда сбрасывает в своп когда память кончается?
Почему MQ системы не подходят если ОЧЕРЕДЬ?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906097
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Тыж не создаёшь свой собственный драйвер для принтера если надо 1 страничку распечатать?

Ну, когда у меня был матричник я писал какой-то скрипт, который именно это и делал. Работало так: я выделял текст, нажимал шорткат и оно печаталось. Таким же образом делал "драйвер" для com сканера штрихкодов, ибо всё существующие было дерьмовыми дельфиподелками.
mayton
Ну давай. Начинай

Всё, поздно. Я уже домой собираюсь. Можешь сделать ТЗ и описать подробнее что надо и под какие нагрузки, пока я доберусь до компа.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906099
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Почему MQ системы не подходят если ОЧЕРЕДЬ?

MQ это не столько про очередь, сколько про доставку сообщений.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906103
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
PetroNotC Sharp
Почему MQ системы не подходят если ОЧЕРЕДЬ?

MQ это не столько про очередь, сколько про доставку сообщений.
допустим 50 на 50.
Разве не как в спринг.... Бери то что надо?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906106
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
mayton
Тыж не создаёшь свой собственный драйвер для принтера если надо 1 страничку распечатать?

Ну, когда у меня был матричник я писал какой-то скрипт, который именно это и делал. Работало так: я выделял текст, нажимал шорткат и оно печаталось. Таким же образом делал "драйвер" для com сканера штрихкодов, ибо всё существующие было дерьмовыми дельфиподелками.

Ты - страшный человек Даже не могу представить как ты по работе проблемы решаешь. Всё - сам кодишь.
Процент повторного использования кода для тебя ... наверное равен нулю ?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906109
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MQ системы обычно связаны с поднятием сетевых сервисов. У меня пока все локально. 1 процесс все делает.
Поэтому поднимать еще MQ не вижу смысла.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906110
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
MQ системы обычно связаны с поднятием сетевых сервисов. У меня пока все локально. 1 процесс все делает.
Поэтому поднимать еще MQ не вижу смысла.
понял.
А как с сортировкой? Либо fifo либо сортировка.
Выбирай.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906114
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не нужна мне никакая сортировка от слова вообще. Мне нужен FIFO.

Но очередей будет несколько. И нужна очистка в случае всяких repeat-логик.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906122
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster

Всё, поздно. Я уже домой собираюсь. Можешь сделать ТЗ и описать подробнее что надо и под какие нагрузки, пока я доберусь до компа.

Нет никакого ТЗ. Есть пока только идея. Сейчас процессы синхронизированы и работают медленно.
Я хочу их разнести в конвейер очередей.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906123
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Но очередей будет несколько.
если на разные машины, то это и есть решение с памятью. Так?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906125
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Я хочу их разнести в конвейер очередей.
конвейер не ускоряет. Балансировщик ускоряет
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906126
iOracleDev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

По сути тебе нужно хранение сущностей на диске в виде двусвязного списка, таких инструментов не знаю, может в графовую БД запихать?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906128
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Честно говоря, если делать велосипед, я бы делал что нибудь простое. Типа Circle Ring Buffer на диске. Chunk фиксированного размера (байтов 30-60). Большие записи разбивать на несколько chunk'ов и просто писать последовательно.

Структура хранения будет тривиальная. Поскольку FIFO и Circle Ring Buffer то не будет фрагментации и все общение с диском исключительно последовательное - максимальная производительность на любом жетком диске.

Объем кода для полноценной реализации, думаю пара сотен строк в максимуме. Недостаток и одновременно достоинство, место для хранилище нужно выделять заранее. Для пользовательского софта это был бы недостаток, для серверного достоинство.

mayton
Не нужна мне никакая сортировка от слова вообще. Мне нужен FIFO.

Но очередей будет несколько. И нужна очистка в случае всяких repeat-логик.

Про очистку не понял.

Вообще, interface из первого поста на Queue совершенно не похож. Где Вы видели такие Queue, я вообще не понимаю ))) и что данный интерфейс должен делать - тоже )))
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906131
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iOracleDev
По сути тебе нужно хранение сущностей на диске в виде двусвязного списка , таких инструментов не знаю, может в графовую БД запихать?

Зачем?
1. Банальный файл на диске и логика Circle Ring Buffer.
в конец пишем, из начала читаем.

2. Если нужно удаление и random доступ к содержимому, то банальная табличка например в SQL Lite
id, data
Низ и верх / начало и конец / head tail FIFO очереди банально храним в самом классе. Т.ч. никаких сортировок или min/max не требуется

Насколько я помню. Табличка в SQL Lite это физически Key-Value, NoSQL структура. Т.ч. даже даже дополнительный индекс primary key в случае SQL Lite будет не нужен )))
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906132
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev,
А я и не знал про редактирование))))
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906133
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iOracleDev
mayton,

По сути тебе нужно хранение сущностей на диске в виде двусвязного списка, таких инструментов не знаю, может в графовую БД запихать?

Зачем графовую? У меня нет графов?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906135
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

Вообще, interface из первого поста на Queue совершенно не похож. Где Вы видели такие Queue, я вообще не понимаю ))) и что данный интерфейс должен делать - тоже )))

Ну... это так. Для затравки. Для старта дискуссии. Надож с чегото начать. Да он не совместим с стандартными очередями.
Ну и фиг с ним.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906136
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Leonid Kudryavtsev,
А я и не знал про редактирование))))

Можно тактично послать собеседника а потом быстринько зачистить.
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906137
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iOracleDev
mayton,
По сути тебе нужно хранение сущностей на диске в виде двусвязного списка, таких инструментов не знаю, может в графовую БД запихать?

Хранение сущностей любого размера друг за другом. Без пропусков)
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906139
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
PetroNotC Sharp
Leonid Kudryavtsev,
А я и не знал про редактирование))))

Можно тактично послать собеседника а потом быстринько зачистить.
Пока не на ком пробовать)))
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906144
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev,
Реализация кольцевого есть где?
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906159
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что там "реализовывать" ?

Можно конечно поискать в google.com, но честно говоря, интерес представляет не реализация (дабы ее любой школьник за час закодировать может), а оптимизация под конкретные условия работы

а тут нужно знать эти самые условия, особой конкретики в топике нет

из интересных обсуждений, использование circle ring buffer'а на диске для видеопередачи (видеокамера продюсер + пара видеоплееров консьюмеры)
https://stackoverflow.com/questions/45869793/c-circular-buffer-using-large-disk-file/45870483
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906192
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В теме с буферизацией видосов речь идет о записях фиксированного размера.
Их легче поддерживать. Как арифметику указателей в С++
...
Рейтинг: 0 / 0
Queue с поддержкой сериализации на диск.
    #39906273
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Для вариативного размера... я пока придумал писать sequence из файлов. Типа

Код: plaintext
1.
2.
q0001.dat
q0002.dat



И по кругу их использовать. Каждый файл приближенно до 128Мб. Что диск рационально утилизировать.
...
Рейтинг: 0 / 0
25 сообщений из 200, страница 3 из 8
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]