|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Это технология Apache Hadoop. https://hadoop.apache.org/ По развертыванию локально можно поискать - но она неэффективна на single node. вроде в ветке жава ты адекватное впечатление создавал, нафига такую ерунду пороть ? hadoop это идеология массивно параллельной обработки, есть множество задач где она эффективна и на одной ноде. вот собственно задача этого топика, яркий тому пример. задача прекрасно ложится на map-reduce и фиг кто-то на ноутбуке обгонит хадуп. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:18 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Вот есть я. И есть мой ноутбук. Я готов выполнять ваши команды. Помогите пожалуйста. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:20 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Сейчас уже есть 2 таблицы - 10 цифр и 9 цифр - совпадений. 10 цифр - это очень быстро считалось - за сутки Как раз всё проверим. У меня Убунту и Виндос. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:22 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
нужно обсчитать ещё 8, 7 и 6 совпадений. Плиииз. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:24 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Блин. Печально что не компелируется... Я почему то подумал что это всё получится. Даже не знаю что делать. Ведь нужно обсчитать ещё 8 совпадений, 7 и 6 Пойду считать своим методом. я видел пару твоих топиков, жава да, ты не поднимешь. советую пилить на перле то, что я выше расписал. что бы запустить мой код, нужно распоковать hadoop бинарники для винды, отсюда https://github.com/steveloughran/winutils прописать переменную HADOOP_HOME , вытрясти из меня еще один класс, Tool который запускает мои маперы и редюсеры, собрать maven проект, а это значит прописать в pom.xml библиотеки хадупа. я этот код в свой рабочий проект добавил где все либы в pom.xml уже есть. вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:46 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 mayton Это технология Apache Hadoop. https://hadoop.apache.org/ По развертыванию локально можно поискать - но она неэффективна на single node. вроде в ветке жава ты адекватное впечатление создавал, нафига такую ерунду пороть ? hadoop это идеология массивно параллельной обработки, есть множество задач где она эффективна и на одной ноде. вот собственно задача этого топика, яркий тому пример. задача прекрасно ложится на map-reduce и фиг кто-то на ноутбуке обгонит хадуп. Я-же тебе писал выше что ты оказал автору "медвежью услугу". Эксперт в бигдатах? - Давай консультируй его как все установить и использовать. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:49 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно :рука-лицо: Ты профиль автора вообще смотрел? Он - Perl разработчик. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:50 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 miltorg Блин. Печально что не компелируется... Я почему то подумал что это всё получится. Даже не знаю что делать. Ведь нужно обсчитать ещё 8 совпадений, 7 и 6 Пойду считать своим методом. я видел пару твоих топиков, жава да, ты не поднимешь. советую пилить на перле то, что я выше расписал. что бы запустить мой код, нужно распоковать hadoop бинарники для винды, отсюда https://github.com/steveloughran/winutils прописать переменную HADOOP_HOME , вытрясти из меня еще один класс, Tool который запускает мои маперы и редюсеры, собрать maven проект, а это значит прописать в pom.xml библиотеки хадупа. я этот код в свой рабочий проект добавил где все либы в pom.xml уже есть. вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно Поддерживать это всё должен Пользователь-Юзер. Даже не я. Замечательное вы предложили решение - к нему просто нужен дополнительный отдел программистов :-) А так - всё просто. А вот вопрос - быстро или нет? Мне жутко интересно: 1. Исходный файл дать не могу - не моё. 2. Можно ведь сгенерировать файл в 5 тысяч записей 3. Обсчёт моим методом занимает - около суток. За сколько справиться ваш метод? Сейчас сгенерирую файл. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 14:55 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Сейчас сгенерирую файл. Давай. Сгенерируй. Сделаем на синтетических данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:10 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:20 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Блин. Мог-бы сархивировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:22 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Если кто то забыл за месяц: Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:25 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Пример ответа: 1_2_3_4_5_6_7_8_9_10 ------ есть в 105, 200, 500, 5000 строках ------- 4 строки совпадения ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:28 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Так тут 5 тыщ только. Неинтересно. Я думал 600 тыщ будет или мильярд. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:30 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, В настоящем исходном файле - 5 тысяч строк. Вы правда за месяц это никак не поняли? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:43 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg, 600 тысяч - это первая таблица совпадений после сравнения каждой строки с каждой. для 9 цифр Для 10 цифр - 200 тысяч совпадений. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:45 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Ох от тебя ТЗ получать... Без бутылки все равно непонятно ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 15:59 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Поддерживать это всё должен Пользователь-Юзер. Даже не я. Замечательное вы предложили решение - к нему просто нужен дополнительный отдел программистов :-) А так - всё просто. А вот вопрос - быстро или нет? Мне жутко интересно: 1. Исходный файл дать не могу - не моё. 2. Можно ведь сгенерировать файл в 5 тысяч записей 3. Обсчёт моим методом занимает - около суток. За сколько справиться ваш метод? Сейчас сгенерирую файл. гуд. вечером тогда научу номер строки вытягивать и запущу ... мерятся я люблю. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:00 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Пока я, как высокооплачеваемый программист, намазывал чёрный хлеб растительным маслом...: 1. Все мои скрипты делают одно и тоже - сравнение и запись в БД 2. Значит оптимизацию можно начинать практически с первого сравнения. Сейчас вам всё напишу. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:00 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, кроме того, это реально оплачиваемое задание - я возьму как посредник - 1 евро в час И я давал клиенту ссылку на этот форум. Если вы выдадите результаты на 6,7,8,9 быстро - я обязательно про вас напишу клиенту - мне тоже не интересно сидеть неделями с включённой программой. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:04 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Есть одно но. Не знаю прочитали вы про это или нет - эти то таблицы - на один раз, Но! данные будут пополняться И всё должно работать с полной базой , и не отделом программистов, а желательно вообще - само собой на машине удалённого Юзера. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:08 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Пока я, как высокооплачеваемый программист, намазывал чёрный хлеб растительным маслом...: 1. Все мои скрипты делают одно и тоже - сравнение и запись в БД 2. Значит оптимизацию можно начинать практически с первого сравнения. Сейчас вам всё напишу. Итак. Первый скрипт вытаскивает всё из исходного файла: Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91.
... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:28 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Попробуй так miltorg Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Inserts должны ускорится. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:35 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton miltorg Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось. Индексы строил? Explain смотрел? Движок на MyIsam менял? (По умолчанию МайСКЛ создает InnoDB). Индексы тут пока строить вроде не на чем и не за чем - пока идёт просто заполнение. У меня такое ощущение что файл вместо БД заполнялся быстрее. Будем проверять. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.02.2021, 16:38 |
|
|
start [/forum/topic.php?fid=47&msg=40041589&tid=1828188]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
184ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
1ms |
others: | 258ms |
total: | 548ms |
0 / 0 |