|
|
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
lor2Blazkowicz, я конечно не профессионал а так, любитель, можно вопрос? как часто вам на практике в реале приходилось сортировать листы размером в 4 гига? Ну, именно сортировать не приходилось. Но была задача чтобы несколько десятков гиг текстовых данных обработать в разумное время (2-4 часа). До реализации дела не дошло, но в теории, главное векторизировать решение. А там, арендовал себе в облаке десяток компов, запулил туда этот файл, запустил обработку, и забирай результат. Решений готовых - масса, нужно только подобрать подходящее под задачу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 18:27 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
Blazkowiczlor2Blazkowicz, я конечно не профессионал а так, любитель, можно вопрос? как часто вам на практике в реале приходилось сортировать листы размером в 4 гига? Ну, именно сортировать не приходилось. Но была задача чтобы несколько десятков гиг текстовых данных обработать в разумное время (2-4 часа). До реализации дела не дошло, но в теории, главное векторизировать решение. А там, арендовал себе в облаке десяток компов, запулил туда этот файл, запустил обработку, и забирай результат. Решений готовых - масса, нужно только подобрать подходящее под задачу. я не совсем понимаю что такое векторизация но насколько я понимаю это способ как то разбить одну большую задачу на несколько мелких? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 18:41 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
lor2я конечно не профессионал а так, любитель, можно вопрос? как часто вам на практике в реале приходилось сортировать листы размером в 4 гига? Сейчас на практике: нужно "коннектить" миллионы различных вариантов и отобрать из всех лучшие (по каким-то критериям). Первый вариант программы так и работал: тупо сконнектить, сохранить миллион в ArraList, отсортировать. На миллионе нормально, при 3-4 память кончалось и тормозить, при > 10 виснет ))). Сейчас алгоритм переписал ))) В БД отсортировать Гигабайты - обычное дело. В 1999-2000 г. делал сайт, приходилось сортировать десятки мил. записей для ускорения полнотекстового поиска. На компе с 16 Mb RAM ))). В том году, переливал реальные БД где под 200 Gb информации. Видел БД где под 1.5 Тб информации (текстовая, не картинки, основная рабочая табличка >45 Gb ) Понятно, что если есть данные, то и желание их отсортировать вполне естественное IMHO & AFAIK ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 18:53 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
не знаю.. мне как то кажется что если у тебя стоит задача отсортировать аррайлист в 4 гига - то что то здесь не так. ты верно сказал, нафига сортировать явой если ты можешь лист уже отсортированный выдрать из бд. и следом второй вопрос - нафига вытаскивать 4 гига - может стоит подумать о критерии для начала? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 19:02 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
lor2мне как то кажется что если у тебя стоит задача отсортировать аррайлист в 4 гига - то что то здесь не так. ты верно сказал, нафига сортировать явой если ты можешь лист уже отсортированный выдрать из бд. а кто сказал, что лист из DB? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 19:13 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
вот у меня сейчас не из БД В БД граф: всего 3 000 узлов, около 50 000 соединений. Из точки в точку может быть сотня тысяч разных маршрутов (в среднем от 2 до 25 тыс) При наложении конкретики - кол-во вариантов "легким движением руки" уходит за десятки миллионов на одном маршруте. Комбинаторика, что б ее ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2016, 19:30 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
вадяавтор1) В общем случае, когда вы делаете select * в БД, то в момент его выполнения и даже в процессе выгрузки вам данных, БД может не знает конечный размер данных, его размер будет известен только после окончания выгрузке (это на стороне БД) И на клиенте, вы точно ни как это не сделаете (одним запросом) смотря как организован запрос. можно прочитав первую строку результата запроса узнать количество строк в запросе. и без count Простите что воскрешаю , но можно пример , так для общей эрудиции ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.03.2016, 15:29 |
|
||
|
Вопрос по ORM
|
|||
|---|---|---|---|
|
#18+
pandвадяпропущено... смотря как организован запрос. можно прочитав первую строку результата запроса узнать количество строк в запросе. и без count Простите что воскрешаю , но можно пример , так для общей эрудиции Я думаю тут имелось введу что-то типа "sql window function / Analytic Functions" Но в реальности делать два запроса или одним с "sql window function" разница не большая. А с точки зрения производительности, тут еще вопрос кто выиграет. Хотя иногда бывает удобно :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.03.2016, 15:47 |
|
||
|
|
start [/forum/topic.php?fid=59&gotonew=1&tid=2124302]: |
0ms |
get settings: |
7ms |
get forum list: |
17ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
65ms |
get topic data: |
11ms |
get first new msg: |
9ms |
get forum data: |
3ms |
get page messages: |
62ms |
get tp. blocked users: |
2ms |
| others: | 237ms |
| total: | 421ms |
| 0 / 0 |
