|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
crutchmaster mayton Альтернативный сценрий в данном топике мне представляется просто невозможным. Скинуть готовый код, в который он просто введёт данные и выполнит. Иначе этот тупак будет тянутся еще месяц. Чорт! Брателло! Конечно скидывай. Я только рад буду. Только мы с тобой заключим джентльменское пари на тему того, за сколько времени ТС разберется с развертыванием этого стека целиком. Я вангую что Perl/MySQL - быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:03 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov H5N1, не похоже даже близко, там 10-ки 3 раза как я помню 5-7-8-15-22-23-27-34-37-39-40 а девяток из этих 10 чисел будет гораздо больше я не вижу. первая и последняя строка одинаковы, под комбинацию 5-7-8-15-22-23-27-34-37-39-40 попадают. третей не вижу. назовите номер строки. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:09 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, выше последняя вводная простыня от ТС упс в предыдущем грозбухе я так вижу 1-е 21-е и 22-е число даты ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:13 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1я не вижу. первая и последняя строка одинаковы я лишь показал подачу ТС, вопросы к автору ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:18 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov выше последняя вводная простыня от ТС упс в предыдущем грозбухе я так вижу 1-е 21-е и 22-е число даты это здорово, но а я не вижу связи ваших наблюдений с теми данными на которых считал я. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:21 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, я не показывал своих наблюдений. И связей не искал) я лишь показал результат который уже известен на известных данных Этот топик исходит из того, "миллиардного". который уже как вечность в этом подфоруме MySQL) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:29 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov выше последняя вводная простыня от ТС упс в предыдущем грозбухе я так вижу 1-е 21-е и 22-е число даты закинул эти данные, если 10 комбинаций то ответ [5, 7, 15, 22, 23, 27, 34, 37, 39, 40] 3 [5, 7, 8, 15, 22, 23, 27, 34, 37, 39] 3 [5, 7, 8, 15, 22, 23, 27, 34, 37, 40] 3 [5, 7, 8, 15, 22, 23, 27, 34, 39, 40] 3 [5, 7, 8, 15, 23, 27, 34, 37, 39, 40] 3 [5, 7, 8, 22, 23, 27, 34, 37, 39, 40] 3 [5, 7, 8, 15, 22, 23, 27, 37, 39, 40] 3 [5, 7, 8, 15, 22, 23, 34, 37, 39, 40] 3 [5, 7, 8, 15, 22, 27, 34, 37, 39, 40] 3 [5, 8, 15, 22, 23, 27, 34, 37, 39, 40] 3 [7, 8, 15, 22, 23, 27, 34, 37, 39, 40] 3 теперь близко ? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:30 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, да это к автору, со времен прошлого топика остались алгоритмы, я просто примерно посмотрел что должно быть ~110 штук 3-х кратных вхождений по 9 раскиньте сами 11 по 9 вы искали 10 чисел, тогда 11-ть 3-хкратных совпадений, да ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 15:40 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Я уже здесь несколько раз написал что нужны номера строк совпадений из исходной таблицы: [5, 7, 15, 22, 23, 27, 34, 37, 39, 40] есть в строках 1,2,3 - 3 раза [5, 7, 8, 15, 22, 23, 27, 34, 37, 39] есть в строках 5,7 - 2 раза -- это просто пример. Не результат. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 18:38 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Вы первый человек с этого форума который выдал ответ очень близкий к моему. Тема висит уже около месяца. Спасибо вам большое - особенно если по вашему алгоритму всё получится. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 18:55 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg H5N1, Я уже здесь несколько раз написал что нужны номера строк совпадений из исходной таблицы: [5, 7, 15, 22, 23, 27, 34, 37, 39, 40] есть в строках 1,2,3 - 3 раза [5, 7, 8, 15, 22, 23, 27, 34, 37, 39] есть в строках 5,7 - 2 раза -- это просто пример. Не результат. Это я написал до рассмотрения вашего результата - это можно бы удалить, но оно уже не удаляется. Ещё раз - спасибо вам. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.02.2021, 19:00 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 06:20 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg, Тебе еще делать что-то надо? А то мы тут пари собираемся заключить? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 06:42 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось. раз добавляются записи это было бесполезно. мне кажется с подходом map-reduce задачка достаточно просто решается и на перл скриптиках. первый скриптик (мапер) читает строку из входного файла, генерит встретившиеся комбинации, создает файл на файловой системе с именем комбинации, пишет туда строку (столько раз сколько комбинаций в строке), читает следующую стоку ... втрому скриптику (редюсер) остается лишь сосчитать кол-во строк в каждом файлике и выявить у кого там больше. в боевых условиях следует чуток соптимизировать - не сваливать все в один фолдер, а создавать вложенные фолдеры из первой цифры, второй цифры комбинации и только там уже файл с именем комбинации. если файл при каждой записи открывать закрывать, наверно можно и в параллель запускать. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 10:08 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось. Индексы строил? Explain смотрел? Движок на MyIsam менял? (По умолчанию МайСКЛ создает InnoDB). ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 10:55 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, MyIsam не навернётся, когда много данных? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 11:02 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
crutchmaster mayton, MyIsam не навернётся, когда много данных? Почитал здесь https://dev.mysql.com/doc/mysql-reslimits-excerpt/8.0/en/table-size-limit.html Вроде хватает до 1 миллиарда. Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 11:08 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Моя программа закончила считать этой ночью. Ответ - 42? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 11:54 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Я ваше решение ещё даже не смотрел. Я боялся что нажму не ту кнопку и мои недельные мучения-расчёты обнулятся. Сейчас гляну ваш метод. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 12:10 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 miltorg, map-reduce - запросто. набросал код, 9 цифр в комбинации, данные взял из этой таблички https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1332345&msg=22260954 на ноутбуке четыре ядра - 24 секунды и победила одна комбинация [5, 7, 8, 27, 39, 50, 58, 62, 70] 3 т.е. три строки с такой комбинацией. верный ответ? маппер/редюсер Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42.
Попытался скомпилировать - выдало кучу ошибок. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 13:22 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Попытался скомпилировать - выдало кучу ошибок. Это технология Apache Hadoop. https://hadoop.apache.org/ По развертыванию локально можно поискать - но она неэффективна на single node. Лучше - кластер. И лучше купить его за деньги. И даже развертывание single node локально - требует определённой сноровки. Вобщем - тут лучше еще один топик отдельно поднять. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 13:34 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, Упс. То есть кроме Java мне на компьютер пользователя, удалённо, придётся ставить ещё что-то? Крутовато. Учитывая то, что простой запуск Перлового скрипта на его компьютере - вызывает массу вопросов. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 13:58 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg, да. Совершенно верно. Нужна инсталляция hadoop для начала. На Windows машинах все это ставится плохо. Со скрипом. В основном это связано с несовершенством cmd-shell. Куча банальностей типа левые-правые слеши, или разделители в CLASSPATH. Поэтому если уж захотел плотно работать с java/bigdata - то лучше на Linux машине начинать учёбу. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:04 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 miltorg Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось. раз добавляются записи это было бесполезно. мне кажется с подходом map-reduce задачка достаточно просто решается и на перл скриптиках. первый скриптик (мапер) читает строку из входного файла, генерит встретившиеся комбинации, создает файл на файловой системе с именем комбинации, пишет туда строку (столько раз сколько комбинаций в строке), читает следующую стоку ... втрому скриптику (редюсер) остается лишь сосчитать кол-во строк в каждом файлике и выявить у кого там больше. в боевых условиях следует чуток соптимизировать - не сваливать все в один фолдер, а создавать вложенные фолдеры из первой цифры, второй цифры комбинации и только там уже файл с именем комбинации. если файл при каждой записи открывать закрывать, наверно можно и в параллель запускать. Блин. Печально что не компелируется... Я почему то подумал что это всё получится. Даже не знаю что делать. Ведь нужно обсчитать ещё 8 совпадений, 7 и 6 Пойду считать своим методом. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:12 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, Я то на Убунте. А клиент на Виндосе и за 800 км - у буржуинов. Ок. Тупик, так тупик. Клиент говорил, что неделя расчётов - это нормально. - Нормально, так нормально, только не на моём ноутбуке. пусть нагружает свой. Я конечно попробую всё оптимизировать... - с помощью местного населения. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:15 |
|
|
start [/forum/topic.php?fid=47&msg=40041215&tid=1828188]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
158ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
68ms |
get tp. blocked users: |
1ms |
others: | 251ms |
total: | 525ms |
0 / 0 |