|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg, 100 строк обрабатывал 1 мин 1000 строк - 10 мин Файл полностью (5000) - около часа. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 14:35 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
авторПервые 20 строк из сделанные из нового файла:зачем выкладывать эти никчемные непонятные данные? что это за цифры 0-2449? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 14:37 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov, может посмотреть требование к решению? Может это строки исходного файла? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 14:48 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg miltorg, Первые 20 строк из сделанные из нового файла: 1 13_15_17_29_31_32_34_38_51_60_76 0-24 11 2 13_14_15_17_21_26_29_31_34_40_51 0-268 11 3 13_14_15_26_38_40_51_60_67_76 0-346 10 4 15_29_32_34_39_42_44_51_60_63_67 0-372 11 5 17_21_26_31_34_40_42_60_63_67 0-397 10 6 14_15_17_21_29_34_38_40_51_63_67 0-497 11 7 26_32_38_40_42_44_51_63_67_76 0-855 10 8 13_17_21_26_29_31_32_34_60_67_76 0-1012 11 9 13_14_15_21_26_29_38_42_44_51_60_63_76 0-1036 13 10 14_17_26_29_31_34_38_42_63_76 0-1349 10 11 17_21_26_31_32_38_39_51_60_76 0-2191 10 12 14_15_17_26_34_38_40_44_51_63 0-2438 10 13 14_15_21_34_38_39_40_42_51_67 0-2449 10 14 13_14_15_26_32_39_40_42_60_63 0-2586 10 15 13_15_17_21_31_32_34_39_60_76 0-2724 10 16 13_14_15_17_26_44_51_63_67_76 0-2738 10 17 13_21_29_31_32_38_39_42_63_67 0-2936 10 18 13_17_29_31_38_39_40_42_44_60 0-3166 10 19 13_14_29_31_32_34_38_44_63_76 0-3250 10 20 13_15_17_21_29_31_32_44_60_63_76 0-3562 11 Первые 20 из Базы: Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23.
... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 14:53 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
База проработала 1,5 минуты Что получается. Получается что 1,5 минуты нужно уменьшить в 7 раз как минимум - Тогда расчёты будут идти не неделю, а 1 день. 15 сек должно кушать 100 строк. А сейчас - 90 секунд. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 14:58 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Alex_Ustinov, может посмотреть требование к решению? Может это строки исходного файла? Дан файл с вводными из 5000 строк авторУра. Есть новый, идентичный исходному файл: К сообщению приложен файл (miltbase.zip - 84Kb) cкачать 20 из какой едрить-мадрить базы?) 1 13_15_17_29_31_32_34_38_51_60_76 0-24 11 2 13_14_15_17_21_26_29_31_34_40_51 0-268 11 0-24 0-268 Что это? Зачем эти 20 строк? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:00 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov miltorg Alex_Ustinov, может посмотреть требование к решению? Может это строки исходного файла? Дан файл с вводными из 5000 строк авторУра. Есть новый, идентичный исходному файл: К сообщению приложен файл (miltbase.zip - 84Kb) cкачать 20 из какой едрить-мадрить базы?) 1 13_15_17_29_31_32_34_38_51_60_76 0-24 11 2 13_14_15_17_21_26_29_31_34_40_51 0-268 11 0-24 0-268 Что это? Зачем эти 20 строк? Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:15 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Вот хвост моего лога. Найдено примерно 29 тыщ за 1 секунду. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
По новому файлу. Проверяй. Чорт тебя дери... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:20 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, есть файл с 5000 тыщ строк. Посл вариант без повторений. найти макс.вхождение 10 чисел (указать номер строк вхождения, ведь надо как то проверять :-), PS он поменял номера строк на даты, значит указать даты вхождения, ведь номеров строк нет... это все ТЗ так как считает долго, miltorg берет 20 строк и показывает какие то тайминги))) авторФайл полностью (5000) - около часа. .... Получается что 1,5 минуты нужно уменьшить в 7 раз как минимум - Тогда расчёты будут идти не неделю, а 1 день. .... 15 сек должно кушать 100 строк. А сейчас - 90 секунд.но сегодня Пятница ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:25 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov, да с датами - вообще отдельная задача IMHO. Мне просто как предмет для изучения - неинтересно. Вот данный поиск похожих хромосом - квадратичный. Интерес топика в том что на мильярде мы все умрём. И интерес есть применить например кластеризацию для отбрасывания заведомо лишних хромосом которые не войдут никогда в результат. И есть интерес найти золотую середину между предварительной кластеризаций которая оп любому займет 10-20 прогонов всего файла и между тупым квадратичным брутфосом который я тоже реализовал но по своему. Если хотим 5 тыщ - любой школьник закодит это на Борланд паскале и все будет летать и свистеть. И хадупы не нужны. А вот если подойти с точки зрения науки. То нужны научные методы. Я-бы предложил алгоритмы кластеризации. Но что-то мне кажется что мы до них просто не дойдем. Андрею хватит и брутфорса. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:32 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Вот хвост моего лога. Найдено примерно 29 тыщ за 1 секунду. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
По новому файлу. Проверяй. Чорт тебя дери... А начала чтоб сравнить с моим уже опубликованным началом - у вас нет? Ок. Сейчас гляну в конец файла. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:41 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg А начала чтоб сравнить с моим уже опубликованным началом - у вас нет? Ок. Сейчас гляну в конец файла. Подождите. Какой конец файла? Мне его считать - 1,5 часа. Если только специально для вас обсчитать последние строки... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:44 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, в первичной постановке задачи милрд не будет. Будет добавляться по 1 строке в день. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:46 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять. 0 и 24 строка исходного файла - это правда так сложно понять? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:47 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg mayton Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять. 0 и 24 строка исходного файла - это правда так сложно понять? Нет мне не сложно понять. Мне лень делать гипотезы и их проверять. Ты мог-бы просто сделать одолжение и описать что входные данные - текстовый файл такого-то формата? С датаи или без дат. Выходной файл - отчот тоже текстового формата с такими-то полями. Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк. Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:50 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg miltorg А начала чтоб сравнить с моим уже опубликованным началом - у вас нет? Ок. Сейчас гляну в конец файла. Подождите. Какой конец файла? Мне его считать - 1,5 часа. Если только специально для вас обсчитать последние строки... И у меня вообще не будет 5000 строки - см код. который я тут уже выложил 2 раза: ... for $str2 ($str+1 .. $kolStr){ ... 5000 строка будет сравниваться только с 5001. А 5001 строки и нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:52 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
короче, :) 1. есть первичный файл в 5000 строк 2. miltorg генерит из него второй файл в стопиццоттыщмиллионов строк, где каждая строчка описывает совпадение 2 каких-либо строк первоначального файла, но не менее 10 (или 9?) чисел в строке, чтобы совпадало там же указываются номера этих строк 3. закащщику нужен вообще третий файл, где указываются только самые частые совпадения, с их количеством видимо, так )) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:52 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton miltorg пропущено... 0 и 24 строка исходного файла - это правда так сложно понять? Нет мне не сложно понять. Мне лень делать гипотезы и их проверять. Ты мог-бы просто сделать одолжение и описать что входные данные - текстовый файл такого-то формата? С датаи или без дат. Выходной файл - отчот тоже текстового формата с такими-то полями. Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк. Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры. Я 500-й раз напишу. Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать. Это я писал уже 500 раз. 500. Если вы сделаете это за 1 проход - в моём понимании - вы будите гений. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 15:59 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Я их нахожу за 10 проходов. 2 проход последний раз занял 7 дней. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:01 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
zyubr, это все может изменится через пару минут id=1 а строка 0, догадайся по датам...))) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:01 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
zyubr короче, :) 1. есть первичный файл в 5000 строк 2. miltorg генерит из него второй файл в стопиццоттыщмиллионов строк, где каждая строчка описывает совпадение 2 каких-либо строк первоначального файла, но не менее 10 (или 9?) чисел в строке, чтобы совпадало там же указываются номера этих строк 3. закащщику нужен вообще третий файл, где указываются только самые частые совпадения, с их количеством видимо, так )) Зачем выдумывать? Я ведь выложил код первой обработки. И код второй обработки - с комментариями. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:03 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov, А зачем смотреть мои промежуточные результаты? - Выкладывайте свои. И тогда вам всё сразу станет ясно и понятно. Мои результаты - это вообще просто так. Но люди не понимают что строка может быть нулевой. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:07 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov zyubr, это все может изменится через пару минут id=1 а строка 0, догадайся по датам...))) :)) можно насчитать как угодно, а потом даты подтянуть из первоначального файла и финально подправить с 0 или с 1, или как там уже будет верно в будущем :) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:09 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк. Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры. Какая культура? - это промежуточный, никому не нужный результат. Нельзя блин показывать недоделанную работу - нельзя. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:11 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Зачем выдумывать? Я ведь выложил код первой обработки. И код второй обработки - с комментариями. там такая жесточайшая путаница во всех предыдущих темах/комментариях... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2021, 16:14 |
|
|
start [/forum/topic.php?fid=47&msg=40042207&tid=1828188]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
180ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
others: | 254ms |
total: | 535ms |
0 / 0 |