ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Вопрос по ORM
25 сообщений из 59, страница 2 из 3
  2  все
Вопрос по ORM
    #39184852
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
автор1) В общем случае, когда вы делаете select * в БД, то в момент его выполнения и даже в процессе выгрузки вам данных,
БД может не знает конечный размер данных, его размер будет известен только после окончания выгрузке (это на стороне БД)
И на клиенте, вы точно ни как это не сделаете (одним запросом)
смотря как организован запрос.
можно прочитав первую строку результата запроса узнать количество строк в запросе. и без count
...
Рейтинг: 0 / 0
03.03.2016, 13:29
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184860
denis111111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
denis111111
Гость
chpashadenis111111chpasha,
Внутри ArrayList есть Object[]
ладно. давай по-другому: в какой книжке или в каком месте ты прочитал, что в списках нужно всегда задавать размер явно?
и еще: какая ошибка происходит, когда ты не задаешь размер? у тебя программа начинает тормозить?

Можно задавать, а можно и не задавать. Меня интересует как зделать правильно.

Если COUNT занимает больше времени\ресурсов чем пересоздание массива, то тогда нет смысла все это делать.
Но это мне нужно лично перепроверить.


Начало топика было по MyBatis, Hibernate, EclipseLink
Если они делают все "Правильно" тогда мне нет смысла в этом разбираться, а просто брать и использовать для моих выборок например MyBatis
...
Рейтинг: 0 / 0
03.03.2016, 13:35
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184862
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
denis111111Если они делают все "Правильно" тогда мне нет смысла в этом разбираться, а просто брать и использовать для моих выборок например MyBatis
Пока ты ищешь в потёмках "правильность", другие уже саппортят код в продакшне. Не занимайся ерундой.
...
Рейтинг: 0 / 0
03.03.2016, 13:37
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184866
denis111111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
denis111111
Гость
Хорошо, всем спасибо за мнения)
...
Рейтинг: 0 / 0
03.03.2016, 13:39
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184867
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
BlazkowiczНе нужно. Операции с массивами реализованы на уровне CPU, поэтому ArrayList даёт фору всем остальным коллекциям.
Плюс достаточно "агрессивная" политика при ресайзе.

Но поскольку память никому не жалко и на фоне обычных "потерь" памяти при работе с огромным кол-вом объектов это копейки - в целом, обычно, не важно.
...
Рейтинг: 0 / 0
03.03.2016, 13:40
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184874
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Leonid KudryavtsevПлюс достаточно "агрессивная" политика при ресайзе.

Но поскольку память никому не жалко и на фоне обычных "потерь" памяти при работе с огромным кол-вом объектов это копейки - в целом, обычно, не важно.
Да, сколько там той памяти нужно? Во-первых вряд ли там у Дениса тысячные массивы. Во-вторых GC это всё барахло соберёт предельно эффективно и даже не заметит сколько его там было.
...
Рейтинг: 0 / 0
03.03.2016, 13:43
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184882
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
а сколько памяти нужно для чтения файла по-строчно в строку?
а какие тормоза при этом, и тормоза не в файловой системе , а именно в работе со строками в java
...
Рейтинг: 0 / 0
03.03.2016, 13:47
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184885
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
вадяа сколько памяти нужно для чтения файла по-строчно в строку?
а какие тормоза при этом, и тормоза не в файловой системе , а именно в работе со строками в java
Это вопрос к кому и зачем?
...
Рейтинг: 0 / 0
03.03.2016, 13:49
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184891
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Blazkowiczвадяа сколько памяти нужно для чтения файла по-строчно в строку?
а какие тормоза при этом, и тормоза не в файловой системе , а именно в работе со строками в java
Это вопрос к кому и зачем?
это к тому , что пересоздание строки и массива/листа одного поля ягоды
...
Рейтинг: 0 / 0
03.03.2016, 13:52
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184899
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Ну тогда уж говори СКОЛЬКО нужно. И какой размер файл. И как ты его читаешь.

Выкладывай код.
...
Рейтинг: 0 / 0
03.03.2016, 13:56
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184900
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
вадяэто к тому , что пересоздание строки и массива/листа одного поля ягоды
Сама операция - да. Итеративный процесс - нет. ArrayList прогрессивно расширяет массив с запасом. String только под текущие нужды.
...
Рейтинг: 0 / 0
03.03.2016, 13:56
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184909
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Blazkowiczвадяэто к тому , что пересоздание строки и массива/листа одного поля ягоды
Сама операция - да. Итеративный процесс - нет. ArrayList прогрессивно расширяет массив с запасом. String только под текущие нужды.
дак вот вопрос и возникает когда выгодно использовать тот или иной подход.
...
Рейтинг: 0 / 0
03.03.2016, 14:00
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184911
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Leonid KudryavtsevНу тогда уж говори СКОЛЬКО нужно. И какой размер файл. И как ты его читаешь.

Выкладывай код.
я эту проблему решил,
вопрос в подходе.
...
Рейтинг: 0 / 0
03.03.2016, 14:02
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184912
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
вадядак вот вопрос и возникает когда выгодно использовать тот или иной подход.
Вопроса не вижу. Одни утверждения. О каких подходах речь?
...
Рейтинг: 0 / 0
03.03.2016, 14:03
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184913
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
1) String разве что-то расширяет?

Расширяет StringBuilder / StringBuffer. И вроде, так же достаточно агрессивно. Т.ч. медленно, но ДИКИХ тормозов быть не должно.

2) фраза "читать файл построчно" - заставляет подозревать, что тут и так уже тормоз
а "читать файл построчно в строку" - вообще масло-масленное.

3) Не указано, как идет работа с файловой системой. Через какой класс. Какой размер буфера (и сделал ли его автор вообще).

В общем, проблема с "в работе со строками в java" не раскрыта.

P.S.
За реализацию String и "работу со строками" так же поубивал бы создателей. Одно их спасает, создателей java DateTime я бы не просто убивал, а убивал бы изощренно медленно. Т.ч. до создателей String руки могли бы и не дойти )))
...
Рейтинг: 0 / 0
03.03.2016, 14:04
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184917
denis111111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
denis111111
Гость
BlazkowiczLeonid KudryavtsevПлюс достаточно "агрессивная" политика при ресайзе.

Но поскольку память никому не жалко и на фоне обычных "потерь" памяти при работе с огромным кол-вом объектов это копейки - в целом, обычно, не важно.
Да, сколько там той памяти нужно? Во-первых вряд ли там у Дениса тысячные массивы. Во-вторых GC это всё барахло соберёт предельно эффективно и даже не заметит сколько его там было.

В меня выборки по 7000-50000 рядков
...
Рейтинг: 0 / 0
03.03.2016, 14:08
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184921
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
denis111111Blazkowiczпропущено...

Да, сколько там той памяти нужно? Во-первых вряд ли там у Дениса тысячные массивы. Во-вторых GC это всё барахло соберёт предельно эффективно и даже не заметит сколько его там было.

В меня выборки по 7000-50000 рядков
а вот тут возникает другой вопрос - нафига тебе столько строк гнать из бызы?
...
Рейтинг: 0 / 0
03.03.2016, 14:11
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184940
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
denis111111В меня выборки по 7000-50000 рядков
I. По времени работы:
1.1. подсчитать сколько раз будет выполняться ресайз
1.2. сколько времени он занимает
1.3. сколько времени занимает SELECT count(*)

II. По памяти:
1.1. Сколько будет перерасход памяти на коллекции
1.2. Сколько будет ОБЩЕЕ потребление памяти ArraList + сохраненные элементы
1.3. Сколько в процентах будет п.1. к общему потреблению
...
Рейтинг: 0 / 0
03.03.2016, 14:20
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39184947
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
зачем 50000 строк на клиенте? в них искать? сортировать?
...
Рейтинг: 0 / 0
03.03.2016, 14:23
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185165
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Да какая разница зачем эти ~100k строк на клиента утащили???
Накойхер (фамилие такой) оптимизировать эту сопельную задачу, дважды напрягая сервер одним и тем же запросом?!
...
Рейтинг: 0 / 0
03.03.2016, 16:25
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185283
lor2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lor2
Гость
Basil A. SidorovДа какая разница зачем эти ~100k строк на клиента утащили???
Накойхер (фамилие такой) оптимизировать эту сопельную задачу, дважды напрягая сервер одним и тем же запросом?!
меня как то на собесе спросили, допустим, у тебя есть аррайлист размером 4 гигабайта, каким образом ты бы его отсортировал? я аж как то даже подрастерялся.
...
Рейтинг: 0 / 0
03.03.2016, 18:06
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185287
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
100k и 1000M - даже не три порядка разницы.
...
Рейтинг: 0 / 0
03.03.2016, 18:09
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185290
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
lor2меня как то на собесе спросили, допустим, у тебя есть аррайлист размером 4 гигабайта, каким образом ты бы его отсортировал? я аж как то даже подрастерялся.
При такой постановке вопроса хоть пузырьком. Всё же зависит от ограничений. Вероятно вопрос идёт об оптимизации процесса по времени? Тогда, вероятно, процесс нужно векторизировать. А для этого хорошо подходит, например, merge sort.
...
Рейтинг: 0 / 0
03.03.2016, 18:14
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185293
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
denis111111В меня выборки по 7000-50000 рядков
Ну, отлично. Поставь туда 7000 и забудь. Сколько у тебя таких выборок живет в памяти одновременно?
...
Рейтинг: 0 / 0
03.03.2016, 18:16
| Ответить | Цитировать | Написать  
Вопрос по ORM
    #39185297
lor2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lor2
Гость
Blazkowicz,
я конечно не профессионал а так, любитель, можно вопрос? как часто вам на практике в реале приходилось сортировать листы размером в 4 гига?
...
Рейтинг: 0 / 0
03.03.2016, 18:18
| Ответить | Цитировать | Написать  
25 сообщений из 59, страница 2 из 3
  2  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Вопрос по ORM
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39184917&tid=2124302]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 67ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 61ms
get tp. blocked users:
 1ms
others: 248ms
total:  418ms
созд. / загр.: 418ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]