ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Оптимальные раелизации Set и Map по памяти
25 сообщений из 55, страница 2 из 3
  2  все
Оптимальные раелизации Set и Map по памяти
    #38596443
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
maytonА мы тебе просто dbms присоветуем. Хорошую. С малой латентностью
Ага, стебелек от РСтудио ))
...
Рейтинг: 0 / 0
25.03.2014, 23:27
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596451
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Нихт! Будет настоящее ТруТь джава-энкодед софтваре.

Колись давай что за задача?
...
Рейтинг: 0 / 0
25.03.2014, 23:48
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596456
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
maytonКолись давай что за задача?
NDA
...
Рейтинг: 0 / 0
26.03.2014, 00:09
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596458
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
З.ы. а есть смысл кусок проги на сях переписать, при том что взаимодействие с джавовским кодом будет интенсивное, при этом двухстороннее?
...
Рейтинг: 0 / 0
26.03.2014, 00:12
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596470
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
ZyK_BotaNmaytonКолись давай что за задача?
NDA
Чо? Notre Dame Academy? Налоговый депертамент Аламаты?
...
Рейтинг: 0 / 0
26.03.2014, 00:51
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596494
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
ZyK_BotaNЗ.ы. а есть смысл кусок проги на сях переписать, при том что взаимодействие с джавовским кодом будет интенсивное, при этом двухстороннее?

а что на сях два байта в один влазят?
...
Рейтинг: 0 / 0
26.03.2014, 02:47
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596495
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
забыл никZyK_BotaNЗ.ы. а есть смысл кусок проги на сях переписать, при том что взаимодействие с джавовским кодом будет интенсивное, при этом двухстороннее?

а что на сях два байта в один влазят?
Ну с памятью поэффективней можно работать чем в джаве.
...
Рейтинг: 0 / 0
26.03.2014, 02:50
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596497
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
ZyK_BotaNзабыл никпропущено...


а что на сях два байта в один влазят?
Ну с памятью поэффективней можно работать чем в джаве.

Так вы определитесь, дорогой друг, вам все-таки скорость важна или количество занимаемой памяти. То вы утверждали что количество, теперь вот хотите на си переписать, что-то вы мутите.
...
Рейтинг: 0 / 0
26.03.2014, 03:01
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596499
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
забыл никZyK_BotaNпропущено...

Ну с памятью поэффективней можно работать чем в джаве.

Так вы определитесь, дорогой друг, вам все-таки скорость важна или количество занимаемой памяти. То вы утверждали что количество, теперь вот хотите на си переписать, что-то вы мутите.
я имел ввиду эффективность по работе с памятью
...
Рейтинг: 0 / 0
26.03.2014, 03:07
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596557
пролетевший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
пролетевший
Участник
Миллионы маленьких коллекций - признак неправильной структуры данных. Как уже оценивали, большого выигрыша все равно не получить. Надо менять местами уровни - так же как в вложенных циклах, наверху должно быть минимальное число итераций.
Надо менять коллекцию из миллиона Map на один Map с коллекциями ( а лучше массивами, идеально массивами примитивов ) внутри. Не зная задачи, подсказать ничего нельзя.
...
Рейтинг: 0 / 0
26.03.2014, 08:46
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596640
Atum1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Atum1
Участник
Миллионы маленьких коллекций - можно заменить на одну большую ? с хорошими ключами и хорошей хеш функцией (тут вам придется подумать самому, но это того стоит)?

Если да то посмотрите - в сторону Redis http://ru.wikipedia.org/wiki/Redis
Или ему подобных написанных на java ( Хотя Redis просто идеален для вас ! я пока не вижу разницы между Миллионы маленьких коллекций и одной большой ! тем более в одном потоке!)

Если нужно хранить данные на диске - возьмите MongoDB .
...
Рейтинг: 0 / 0
26.03.2014, 10:27
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596743
Сергей Арсеньев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Арсеньев
Участник
IMHO

для небольшого числа объектов самое эффективная коллекция это - Object[] в котором четные это ключи, нечетные значения.
...
Рейтинг: 0 / 0
26.03.2014, 11:54
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38596942
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
автор предлагает гадать на кофейной гуще?;) В гугле доступно, какая коллекция для чего подходит и занимается при росте числа элементов меньше памяти.
я так понимаю, у автора таки больше проблема с архитектурой, а не выбором коллекции?:)
...
Рейтинг: 0 / 0
26.03.2014, 14:02
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597065
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Автор просто капризничает. Птичьего молока ему видите-ли....
...
Рейтинг: 0 / 0
26.03.2014, 15:26
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597107
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
maytonАвтор просто капризничает. Птичьего молока ему видите-ли....
Тоже так подумал. Оперативы дешевле прикупить...
...
Рейтинг: 0 / 0
26.03.2014, 15:48
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597205
ivanra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ivanra
Гость
Вариант - использовать hsqldb с размещением в памяти, Set и Map в чистом виде не будет, но по доступу будет аналог, и очень быстрый, при наличии соответствующих индексов. Молжно, конечно, замепить всё через ORM, но поскольку речь идет об ограничении по памяти, то вряд ли поможет.
...
Рейтинг: 0 / 0
26.03.2014, 16:51
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597214
cdtyjv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cdtyjv
Участник
ivanraВариант - использовать hsqldb с размещением в памяти, Set и Map в чистом виде не будет, но по доступу будет аналог, и очень быстрый, при наличии соответствующих индексов. Молжно, конечно, замепить всё через ORM, но поскольку речь идет об ограничении по памяти, то вряд ли поможет.А зачем использовать SQL-движок для кейса, где нет SQL? :-) Тогда уж надо какую-нибудь распределенную hashtable брать. Из опенсорсных:
https://github.com/hazelcast
https://github.com/gridgain
Там и партицирование есть, и в офхип можно данные засунуть, и SQL запросы погонять можно (если очень приспичило), и т.д..

А вообще, проблема автора сейчас звучит примерно так: "Мои объекты не влехают в хип. Что мне делать?" Сложно рассчитыать на какой-то конкретный ответ при таком низком уровне детализации.
...
Рейтинг: 0 / 0
26.03.2014, 17:00
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597216
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Насчет скорости и объема данных < 10 объектов.

При 10 объектов, последовательный перебор может быть БЫСТРЕЕ, чем двоичный поиск и другие "правильные" алгоритмы. Кол-во операций сравнения конечно больше ))), но ведь никто не говорил, что они одинаковые.... Грубо говоря, если сложность алгоритма при двоичном поиске O1*log2(N), а последовательный перебор O2*N, то В РЕАЛЬНОЙ жизни, при небольших N, возможно, что последовательный перебор будет быстрее. Т.к. O2 обычно _значительно_ быстрее O1.

Т.ч. IMHO при 10 объекта - тупо array и выкинуть всякие Map нафик.

IMHO & AFAIK
...
Рейтинг: 0 / 0
26.03.2014, 17:01
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597217
cdtyjv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cdtyjv
Участник
Да, и в этих продуктах, разумеется, можно прозрачно свопить данные на диск, если количество оперативы ну никак не увеличить.
...
Рейтинг: 0 / 0
26.03.2014, 17:01
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597220
cdtyjv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cdtyjv
Участник
Leonid KudryavtsevТ.ч. IMHO при 10 объекта - тупо array и выкинуть всякие Map нафик.ТС уже пробовал это делать, используя ArrayMap, которая по сути и является плоским массивом. С его слов, не помогло.
...
Рейтинг: 0 / 0
26.03.2014, 17:02
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597230
ivanra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ivanra
Гость
cdtyjvivanraВариант - использовать hsqldb с размещением в памяти, Set и Map в чистом виде не будет, но по доступу будет аналог, и очень быстрый, при наличии соответствующих индексов. Молжно, конечно, замепить всё через ORM, но поскольку речь идет об ограничении по памяти, то вряд ли поможет.А зачем использовать SQL-движок для кейса, где нет SQL? :-)
SQL тут в качестве дополнительного бонуса. Эксплуатируем тот факт, что dbms имеют всяческие оптимизации по использованию памяти для хранения данных и индексов
...
Рейтинг: 0 / 0
26.03.2014, 17:09
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597265
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Overhead на объектную модель крайне не мал. Точнее, на объектный String.

или своя реализация String или своя реализация CharSequence. По логике, вроде CharSequence самое то, но половина методов на входе ждеть String ((( Т.ч. будет постоянное приведения типов.

Проше на C кусок написать.
...
Рейтинг: 0 / 0
26.03.2014, 17:34
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597275
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Leonid KudryavtsevOverhead на объектную модель крайне не мал. Точнее, на объектный String.
А String тут при чем?

Leonid Kudryavtsevили своя реализация String или своя реализация CharSequence. По логике, вроде CharSequence самое то, но половина методов на входе ждеть String ((( Т.ч. будет постоянное приведения типов.
Проше на C кусок написать.
Если из Unicode пространства String переместиться в ASCII и byte[], то экономия будет колоссальная. Вот только какое это имеет отношение к теме?
...
Рейтинг: 0 / 0
26.03.2014, 17:39
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597284
Фотография ZyK_BotaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZyK_BotaN
Участник
BlazkowiczА String тут при чем?
15786654

з.ы. а вообще, я ржу со своего вопроса.
действительно овчинка выделки не стоит, с этими оптимизациями.
не туда смотрю.
...
Рейтинг: 0 / 0
26.03.2014, 17:44
| Ответить | Цитировать | Написать  
Оптимальные раелизации Set и Map по памяти
    #38597321
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Для любого мьсе желающего всяких развлечений и жареных курочек есть список:

Compare NoSQL Databases
http://nosql.findthebest.com/d/i/Java

Там тебе и key-value, и column, и document и graph. Ну вобщем - выбирай-не-хочу.

И грань между memory и file стирается когда мы имеем дело с хорошим SSD.
...
Рейтинг: 0 / 0
26.03.2014, 18:15
| Ответить | Цитировать | Написать  
25 сообщений из 55, страница 2 из 3
  2  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Оптимальные раелизации Set и Map по памяти
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=38596743&tid=2127432]:
 0ms
get settings:
 9ms
get forum list:
 20ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 179ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 85ms
get tp. blocked users:
 2ms
others: 240ms
total:  553ms
созд. / загр.: 553ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]