ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
25 сообщений из 200, страница 5 из 8
  5  все
Queue с поддержкой сериализации на диск.
    #39907444
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Использованные файлы - удалять нахер. Сразу-же как только readPos их вычитал.
...
Рейтинг: 0 / 0
24.12.2019, 12:39
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907512
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Создание файла - AFAIK крайне дорогая операция + дергание головок.
...
Рейтинг: 0 / 0
24.12.2019, 14:48
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907553
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Согласен. Игры с аллокацией тоже надо посчитать. Но этот вариант меня тоже устраивает т.к. он - простой.
А перформансных инцедентов пока у нас нет т.к. нет самого софта и нет данных.

Вариант с вращением данных в одном файле - тоже ОК. Только я еще хотел дописать либо Externalize поддержку
либо какой-нибудь Cryo.
...
Рейтинг: 0 / 0
24.12.2019, 16:09
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907628
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
Leonid Kudryavtsev
Создание файла - AFAIK крайне дорогая операция + дергание головок.

если памяти не хватает, что ещё остаётся?
...
Рейтинг: 0 / 0
24.12.2019, 18:34
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907629
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
полудух
Leonid Kudryavtsev
Создание файла - AFAIK крайне дорогая операция + дергание головок.

если памяти не хватает, что ещё остаётся?
один файл с разделами. Или бд
...
Рейтинг: 0 / 0
24.12.2019, 18:38
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907630
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
что за файл с разделами?
...
Рейтинг: 0 / 0
24.12.2019, 18:39
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907631
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
БД я отверг как избыточное. Кроме того... только Berkeley заявяет о поддержке очереди FIFO
как нативной структуре данных. И встроенные движки в MQ-брокеры но... API которых мне неизвестен.
...
Рейтинг: 0 / 0
24.12.2019, 18:40
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907638
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
полудух
что за файл с разделами?

1 файл с миллионом классов в формате - имя класса, сам класс в байтах.
2 файл индексный, где позиции начала классов.
...
Рейтинг: 0 / 0
24.12.2019, 19:19
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907650
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton
БД я отверг как избыточное. Кроме того... только Berkeley заявяет о поддержке очереди FIFO
как нативной структуре данных.

Не модет быть, чтобы оракл был хуже))
https://docs.oracle.com/database/121/ADQUE/aq_intro.htm#ADQUE2431
...
Рейтинг: 0 / 0
24.12.2019, 19:52
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907659
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
PetroNotC Sharp
полудух
что за файл с разделами?

1 файл с миллионом классов в формате - имя класса, сам класс в байтах.
2 файл индексный, где позиции начала классов.

в смысле vector<User> ?
или как оно там в Яве...?
да пофиг, как такой вектор сохранить в файл в C++?
...
Рейтинг: 0 / 0
24.12.2019, 21:12
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907668
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
PetroNotC Sharp,



У меня есть шанс построить копеечное решение а ты меня толкаешь в дорогие и лицензированные?
...
Рейтинг: 0 / 0
24.12.2019, 21:42
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907676
Фотография Valentin Kolesnikov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Valentin Kolesnikov
Участник
mayton
PetroNotC Sharp,



У меня есть шанс построить копеечное решение а ты меня толкаешь в дорогие и лицензированные?


Так есть готовое решение.

Хорошего вам дня!
...
Рейтинг: 0 / 0
24.12.2019, 22:29
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907681
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Valentin Kolesnikov
mayton
PetroNotC Sharp,



У меня есть шанс построить копеечное решение а ты меня толкаешь в дорогие и лицензированные?


Так есть готовое решение.

Хорошего вам дня!

SayDb мы отбросили.
Memcached - это по определению In-memory dbms, поэтому не подходит.
RocksDb я помню. Хорошая штука от Фейсбука. Я где-то проводил сравнение ее с LevelDb.
Надо еще раз почитать про нее.
...
Рейтинг: 0 / 0
24.12.2019, 23:04
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907711
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
полудух
PetroNotC Sharp
пропущено...

1 файл с миллионом классов в формате - имя класса, сам класс в байтах.
2 файл индексный, где позиции начала классов.

в смысле vector<User> ?
или как оно там в Яве...?
да пофиг, как такой вектор сохранить в файл в C++?

В java смотрят крупнее на задачи.
Неважно в каком контейнере приходят миллионы объектов. В коллекции/векторе/массиве/связанные веревкой.
На диск мы УПОРЯДОЧЕННО сбрасываем только объекты. Без контейнера.
То есть User, Puser, Muser, Мышка, Паровоз,...
Вот можно создать 5 файлов, а можно один и можно парочку.
...
Рейтинг: 0 / 0
25.12.2019, 07:17
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907713
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Leonid Kudryavtsev
Создание файла - AFAIK крайне дорогая операция + дергание головок

В 2к20 уже можно пользоваться ssd.
...
Рейтинг: 0 / 0
25.12.2019, 07:39
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907714
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Leonid Kudryavtsev
Serializable - тупое и медленное г...но
Externalizable - rulezzzzz

эскобар.жпг
По сравнению с си/плюсами - всё это 3-х колёсные велики без педалей. Тут единственный вменяемый способ - кастить структуру сразу из void*, всё остальное - дико медленно.
...
Рейтинг: 0 / 0
25.12.2019, 07:49
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907717
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
полудух
да пофиг, как такой вектор сохранить в файл в C++?

Элементарно. Кастишь всё в char* да сохраняешь.
...
Рейтинг: 0 / 0
25.12.2019, 08:09
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907759
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
crutchmaster
полудух
да пофиг, как такой вектор сохранить в файл в C++?

Элементарно. Кастишь всё в char* да сохраняешь.

Может так?
int x = testvalue;
fwrite(&x, 1, sizeof(int), fp);
...
Рейтинг: 0 / 0
25.12.2019, 10:28
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907883
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
crutchmaster
полудух
да пофиг, как такой вектор сохранить в файл в C++?

Элементарно. Кастишь всё в char* да сохраняешь.

а как структуру скастить в чар?
...
Рейтинг: 0 / 0
25.12.2019, 13:41
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39907981
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
crutchmaster
Leonid Kudryavtsev
Создание файла - AFAIK крайне дорогая операция + дергание головок

В 2к20 уже можно пользоваться ssd.

Уже ранее говорил:

Даже для SSD, тарифы Amazon'а считают IOPS'ы и их тарифицируют/режут_скорость

Т.ч. даже SSD не значит, что из IO-подсистемы можно устраивать помойку. Это все равно скажется или на производительности (в случае механики) или на деньгах (в случае с Amazon'ом)

IMHO & AFAIK
...
Рейтинг: 0 / 0
25.12.2019, 17:19
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39908069
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
полудух
crutchmaster
пропущено...

Элементарно. Кастишь всё в char* да сохраняешь.

а как структуру скастить в чар?

уже сам нашёл (внизу)
авторПри сложном строении классов или активном участии указателей в классах объекты часто сериализуют. Я сериализовать ничего не умею, поэтому и показать, как такое вытворять — не могу.
а про это кто чего может сказать?
...
Рейтинг: 0 / 0
25.12.2019, 20:43
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39908070
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
crutchmaster
Leonid Kudryavtsev
Serializable - тупое и медленное г...но
Externalizable - rulezzzzz

эскобар.жпг
По сравнению с си/плюсами - всё это 3-х колёсные велики без педалей. Тут единственный вменяемый способ - кастить структуру сразу из void*, всё остальное - дико медленно.

Здесь С++ не нужен потому что у нас весь стек технологий на базе Java-8. Это требование нашего
драгоценного кастомера. Который платит нам деньги. Которые мы тоже нежно любим.

Спор о том что будет быстрее кастинг void* или еще что-то это спор о наносекундах.
У нас идет речь о величинах порядка 1-мс. Сетевые события.

Поэтому не вижу особого смысла развивать идею подобного спора.
...
Рейтинг: 0 / 0
25.12.2019, 20:48
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39908250
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
У нас идет речь о величинах порядка 1-мс.

Умножь эти 1 мс на количество запросов получится очень даже жирно.

mayton
Спор о том что будет быстрее кастинг void* или еще что-то это спор о наносекундах.

Это вопрос о том, что эффективнее, возможно, в тысячи раз.

mayton
Здесь С++ не нужен потому что у нас весь стек технологий на базе Java-8.

Ну, если железо покроет оверхед, то ок, хотя я наслышан, что в ынтерпрайзе не гнушаются не то, что сями в жабке, а даже засовывать в этот си асм вставки.
...
Рейтинг: 0 / 0
26.12.2019, 05:30
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39908251
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
полудух
а про это кто чего может сказать?

Ну так же как и на жабкином Externalizable делают каждому метод, который выкидывает char* всего, что нужно. Потом всё это собирают и переписывают. На выходе получается тупое копирование кусков памяти с со всех экземпляров классов и минимумом оверхеда в отличии от жабки, которая будет заниматься хрен пойми чем.
...
Рейтинг: 0 / 0
26.12.2019, 05:39
| Ответить | Цитировать | Написать  
Queue с поддержкой сериализации на диск.
    #39908252
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
PetroNotC Sharp
Может так?

Так int - не struct, и там еще надо по указателям будет бегать с контейнерами.
...
Рейтинг: 0 / 0
26.12.2019, 05:43
| Ответить | Цитировать | Написать  
25 сообщений из 200, страница 5 из 8
  5  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Queue с поддержкой сериализации на диск.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39907630&tid=2120961]:
 0ms
get settings:
 15ms
get forum list:
 5ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 66ms
get topic data:
 3ms
get forum data:
 1ms
get page messages:
 422ms
get tp. blocked users:
 0ms
others: 296ms
total:  810ms
созд. / загр.: 810ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]