powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
25 сообщений из 471, страница 8 из 19
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042139
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg,

100 строк обрабатывал 1 мин

1000 строк - 10 мин

Файл полностью (5000) - около часа.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042140
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторПервые 20 строк из сделанные из нового файла:зачем выкладывать эти никчемные непонятные данные? что это за цифры 0-2449?
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042145
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_Ustinov,

может посмотреть требование к решению?

Может это строки исходного файла?
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042149
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg
miltorg,

Первые 20 строк из сделанные из нового файла:

1 13_15_17_29_31_32_34_38_51_60_76 0-24 11
2 13_14_15_17_21_26_29_31_34_40_51 0-268 11
3 13_14_15_26_38_40_51_60_67_76 0-346 10
4 15_29_32_34_39_42_44_51_60_63_67 0-372 11
5 17_21_26_31_34_40_42_60_63_67 0-397 10
6 14_15_17_21_29_34_38_40_51_63_67 0-497 11
7 26_32_38_40_42_44_51_63_67_76 0-855 10
8 13_17_21_26_29_31_32_34_60_67_76 0-1012 11
9 13_14_15_21_26_29_38_42_44_51_60_63_76 0-1036 13
10 14_17_26_29_31_34_38_42_63_76 0-1349 10
11 17_21_26_31_32_38_39_51_60_76 0-2191 10
12 14_15_17_26_34_38_40_44_51_63 0-2438 10
13 14_15_21_34_38_39_40_42_51_67 0-2449 10
14 13_14_15_26_32_39_40_42_60_63 0-2586 10
15 13_15_17_21_31_32_34_39_60_76 0-2724 10
16 13_14_15_17_26_44_51_63_67_76 0-2738 10
17 13_21_29_31_32_38_39_42_63_67 0-2936 10
18 13_17_29_31_38_39_40_42_44_60 0-3166 10
19 13_14_29_31_32_34_38_44_63_76 0-3250 10
20 13_15_17_21_29_31_32_44_60_63_76 0-3562 11


Первые 20 из Базы:

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
+------+----------------------------------------+------------+------------+------+------+---------+
| id   | d1                                     | myData1    | myData2    | str1 | str2 | sovpalo |
+------+----------------------------------------+------------+------------+------+------+---------+
|    1 | 13_15_17_29_31_32_34_38_51_60_76       | 31.05.2007 | 24.06.2007 |    0 |   24 |      11 |
|    2 | 13_14_15_17_21_26_29_31_34_40_51       | 31.05.2007 | 23.02.2008 |    0 |  268 |      11 |
|    3 | 13_14_15_26_38_40_51_60_67_76          | 31.05.2007 | 11.05.2008 |    0 |  346 |      10 |
|    4 | 15_29_32_34_39_42_44_51_60_63_67       | 31.05.2007 | 06.06.2008 |    0 |  372 |      11 |
|    5 | 17_21_26_31_34_40_42_60_63_67          | 31.05.2007 | 01.07.2008 |    0 |  397 |      10 |
|    6 | 14_15_17_21_29_34_38_40_51_63_67       | 31.05.2007 | 09.10.2008 |    0 |  497 |      11 |
|    7 | 26_32_38_40_42_44_51_63_67_76          | 31.05.2007 | 02.10.2009 |    0 |  855 |      10 |
|    8 | 13_17_21_26_29_31_32_34_60_67_76       | 31.05.2007 | 08.03.2010 |    0 | 1012 |      11 |
|    9 | 13_14_15_21_26_29_38_42_44_51_60_63_76 | 31.05.2007 | 01.04.2010 |    0 | 1036 |      13 |
|   10 | 14_17_26_29_31_34_38_42_63_76          | 31.05.2007 | 08.02.2011 |    0 | 1349 |      10 |
|   11 | 17_21_26_31_32_38_39_51_60_76          | 31.05.2007 | 30.05.2013 |    0 | 2191 |      10 |
|   12 | 14_15_17_26_34_38_40_44_51_63          | 31.05.2007 | 01.02.2014 |    0 | 2438 |      10 |
|   13 | 14_15_21_34_38_39_40_42_51_67          | 31.05.2007 | 12.02.2014 |    0 | 2449 |      10 |
|   14 | 13_14_15_26_32_39_40_42_60_63          | 31.05.2007 | 29.06.2014 |    0 | 2586 |      10 |
|   15 | 13_15_17_21_31_32_34_39_60_76          | 31.05.2007 | 14.11.2014 |    0 | 2724 |      10 |
|   16 | 13_14_15_17_26_44_51_63_67_76          | 31.05.2007 | 28.11.2014 |    0 | 2738 |      10 |
|   17 | 13_21_29_31_32_38_39_42_63_67          | 31.05.2007 | 14.06.2015 |    0 | 2936 |      10 |
|   18 | 13_17_29_31_38_39_40_42_44_60          | 31.05.2007 | 30.01.2016 |    0 | 3166 |      10 |
|   19 | 13_14_29_31_32_34_38_44_63_76          | 31.05.2007 | 23.04.2016 |    0 | 3250 |      10 |
|   20 | 13_15_17_21_29_31_32_44_60_63_76       | 31.05.2007 | 01.03.2017 |    0 | 3562 |      11 |
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042153
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
База проработала 1,5 минуты

Что получается.
Получается что 1,5 минуты нужно уменьшить в 7 раз как минимум - Тогда расчёты будут идти не неделю, а 1 день.

15 сек должно кушать 100 строк. А сейчас - 90 секунд.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042155
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg
Alex_Ustinov,
может посмотреть требование к решению?
Может это строки исходного файла?
требование к решению? это что такое? первые 20 из какой базы?
Дан файл с вводными из 5000 строк авторУра. Есть новый, идентичный исходному файл:
К сообщению приложен файл (miltbase.zip - 84Kb) cкачать

20 из какой едрить-мадрить базы?)
1 13_15_17_29_31_32_34_38_51_60_76 0-24 11
2 13_14_15_17_21_26_29_31_34_40_51 0-268 11

0-24
0-268
Что это? Зачем эти 20 строк?
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042171
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_Ustinov
miltorg
Alex_Ustinov,
может посмотреть требование к решению?
Может это строки исходного файла?
требование к решению? это что такое? первые 20 из какой базы?
Дан файл с вводными из 5000 строк авторУра. Есть новый, идентичный исходному файл:
К сообщению приложен файл (miltbase.zip - 84Kb) cкачать


20 из какой едрить-мадрить базы?)
1 13_15_17_29_31_32_34_38_51_60_76 0-24 11
2 13_14_15_17_21_26_29_31_34_40_51 0-268 11

0-24
0-268
Что это? Зачем эти 20 строк?
Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант
откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042174
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот хвост моего лога. Найдено примерно 29 тыщ за 1 секунду.

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
.....
Positions: ( 4999, 3679 ), count = 11 : { 19,29,31,39,43,45,51,57,63,65,71, }
Positions: ( 4999, 3765 ), count = 10 : { 6,17,26,31,39,42,45,51,63,65, }
Positions: ( 4999, 4114 ), count = 10 : { 19,26,29,51,55,57,63,65,68,71, }
Positions: ( 4999, 4981 ), count = 10 : { 17,26,31,39,43,55,56,65,68,71, }
Positions: ( 5000, 108 ), count = 10 : { 8,25,30,32,51,62,66,69,73,77, }
Positions: ( 5000, 151 ), count = 10 : { 8,17,20,25,32,33,35,39,69,77, }
Positions: ( 5000, 1954 ), count = 10 : { 20,25,27,32,33,35,39,62,69,77, }
Positions: ( 5000, 1965 ), count = 10 : { 8,11,25,32,35,39,62,66,77,128, }
Positions: ( 5000, 2600 ), count = 10 : { 11,17,25,27,33,39,62,66,73,128, }
Positions: ( 5000, 2910 ), count = 10 : { 11,17,27,30,35,39,51,62,73,128, }
Positions: ( 5000, 3044 ), count = 10 : { 14,20,25,32,33,39,51,62,69,73, }
Positions: ( 5000, 3186 ), count = 10 : { 8,14,20,25,30,32,35,62,66,77, }
Positions: ( 5000, 3188 ), count = 10 : { 8,11,17,25,27,33,35,39,69,73, }
Positions: ( 5000, 4642 ), count = 12 : { 8,11,17,20,30,32,35,39,51,73,77,128, }
Positions: ( 5000, 4995 ), count = 10 : { 8,25,32,35,39,51,62,66,77,128, }
Finished. Elapsed time : 1137 ms, findings : 29922



По новому файлу. Проверяй. Чорт тебя дери...
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042178
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

есть файл с 5000 тыщ строк. Посл вариант без повторений.

найти макс.вхождение 10 чисел (указать номер строк вхождения, ведь надо как то проверять :-),
PS
он поменял номера строк на даты, значит указать даты вхождения, ведь номеров строк нет...
это все ТЗ


так как считает долго, miltorg берет 20 строк и показывает какие то тайминги)))

авторФайл полностью (5000) - около часа.
....
Получается что 1,5 минуты нужно уменьшить в 7 раз как минимум - Тогда расчёты будут идти не неделю, а 1 день.
....
15 сек должно кушать 100 строк. А сейчас - 90 секунд.но сегодня Пятница
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042182
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_Ustinov, да с датами - вообще отдельная задача IMHO. Мне просто как предмет для изучения - неинтересно.

Вот данный поиск похожих хромосом - квадратичный. Интерес топика в том что на мильярде мы все умрём.
И интерес есть применить например кластеризацию для отбрасывания заведомо лишних хромосом которые
не войдут никогда в результат.

И есть интерес найти золотую середину между предварительной кластеризаций которая оп любому займет
10-20 прогонов всего файла и между тупым квадратичным брутфосом который я тоже реализовал но по своему.

Если хотим 5 тыщ - любой школьник закодит это на Борланд паскале и все будет летать и свистеть. И хадупы
не нужны.

А вот если подойти с точки зрения науки. То нужны научные методы. Я-бы предложил алгоритмы кластеризации.
Но что-то мне кажется что мы до них просто не дойдем. Андрею хватит и брутфорса.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042193
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Вот хвост моего лога. Найдено примерно 29 тыщ за 1 секунду.

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
.....
Positions: ( 4999, 3679 ), count = 11 : { 19,29,31,39,43,45,51,57,63,65,71, }
Positions: ( 4999, 3765 ), count = 10 : { 6,17,26,31,39,42,45,51,63,65, }
Positions: ( 4999, 4114 ), count = 10 : { 19,26,29,51,55,57,63,65,68,71, }
Positions: ( 4999, 4981 ), count = 10 : { 17,26,31,39,43,55,56,65,68,71, }
Positions: ( 5000, 108 ), count = 10 : { 8,25,30,32,51,62,66,69,73,77, }
Positions: ( 5000, 151 ), count = 10 : { 8,17,20,25,32,33,35,39,69,77, }
Positions: ( 5000, 1954 ), count = 10 : { 20,25,27,32,33,35,39,62,69,77, }
Positions: ( 5000, 1965 ), count = 10 : { 8,11,25,32,35,39,62,66,77,128, }
Positions: ( 5000, 2600 ), count = 10 : { 11,17,25,27,33,39,62,66,73,128, }
Positions: ( 5000, 2910 ), count = 10 : { 11,17,27,30,35,39,51,62,73,128, }
Positions: ( 5000, 3044 ), count = 10 : { 14,20,25,32,33,39,51,62,69,73, }
Positions: ( 5000, 3186 ), count = 10 : { 8,14,20,25,30,32,35,62,66,77, }
Positions: ( 5000, 3188 ), count = 10 : { 8,11,17,25,27,33,35,39,69,73, }
Positions: ( 5000, 4642 ), count = 12 : { 8,11,17,20,30,32,35,39,51,73,77,128, }
Positions: ( 5000, 4995 ), count = 10 : { 8,25,32,35,39,51,62,66,77,128, }
Finished. Elapsed time : 1137 ms, findings : 29922



По новому файлу. Проверяй. Чорт тебя дери...


А начала чтоб сравнить с моим уже опубликованным началом - у вас нет?
Ок. Сейчас гляну в конец файла.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042194
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg


А начала чтоб сравнить с моим уже опубликованным началом - у вас нет?
Ок. Сейчас гляну в конец файла.


Подождите. Какой конец файла?
Мне его считать - 1,5 часа.

Если только специально для вас обсчитать последние строки...
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042195
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

в первичной постановке задачи милрд не будет. Будет добавляться по 1 строке в день.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042196
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант
откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять.


0 и 24 строка исходного файла - это правда так сложно понять?
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042199
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg
mayton

Я плюсую. Мне тоже непонятно что такое 0-24. Андрей. Ты можешь сделать нормальное ТЗ ? Я уже 2 варианта сделал и 1 вариант
откатил назад т.к. понял что ты все таки считаешь количество цифр а не хромосом. Жаль время терять.


0 и 24 строка исходного файла - это правда так сложно понять?

Нет мне не сложно понять. Мне лень делать гипотезы и их проверять. Ты мог-бы просто сделать одолжение
и описать что входные данные - текстовый файл такого-то формата? С датаи или без дат.

Выходной файл - отчот тоже текстового формата с такими-то полями.

Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых
номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк.
Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042200
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg
miltorg


А начала чтоб сравнить с моим уже опубликованным началом - у вас нет?
Ок. Сейчас гляну в конец файла.


Подождите. Какой конец файла?
Мне его считать - 1,5 часа.

Если только специально для вас обсчитать последние строки...


И у меня вообще не будет 5000 строки - см код. который я тут уже выложил 2 раза:

...
for $str2 ($str+1 .. $kolStr){

...

5000 строка будет сравниваться только с 5001. А 5001 строки и нет.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042201
zyubr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
короче, :)

1. есть первичный файл в 5000 строк
2. miltorg генерит из него второй файл в стопиццоттыщмиллионов строк, где каждая строчка описывает совпадение 2 каких-либо строк первоначального файла, но не менее 10 (или 9?) чисел в строке, чтобы совпадало
там же указываются номера этих строк
3. закащщику нужен вообще третий файл, где указываются только самые частые совпадения, с их количеством

видимо, так ))
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042206
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
miltorg
пропущено...


0 и 24 строка исходного файла - это правда так сложно понять?

Нет мне не сложно понять. Мне лень делать гипотезы и их проверять. Ты мог-бы просто сделать одолжение
и описать что входные данные - текстовый файл такого-то формата? С датаи или без дат.

Выходной файл - отчот тоже текстового формата с такими-то полями.

Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых
номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк.
Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры.


Я 500-й раз напишу.

Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать.

Это я писал уже 500 раз. 500.
Если вы сделаете это за 1 проход - в моём понимании - вы будите гений.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042207
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я их нахожу за 10 проходов.
2 проход последний раз занял 7 дней.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042209
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zyubr,

это все может изменится через пару минут

id=1 а строка 0, догадайся по датам...)))
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042211
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zyubr
короче, :)

1. есть первичный файл в 5000 строк
2. miltorg генерит из него второй файл в стопиццоттыщмиллионов строк, где каждая строчка описывает совпадение 2 каких-либо строк первоначального файла, но не менее 10 (или 9?) чисел в строке, чтобы совпадало
там же указываются номера этих строк
3. закащщику нужен вообще третий файл, где указываются только самые частые совпадения, с их количеством

видимо, так ))


Зачем выдумывать? Я ведь выложил код первой обработки. И код второй обработки - с комментариями.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042215
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_Ustinov,

А зачем смотреть мои промежуточные результаты? - Выкладывайте свои. И тогда вам всё сразу станет ясно и понятно.

Мои результаты - это вообще просто так.
Но люди не понимают что строка может быть нулевой.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042216
zyubr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alex_Ustinov
zyubr,

это все может изменится через пару минут

id=1 а строка 0, догадайся по датам...)))


:)) можно насчитать как угодно, а потом даты подтянуть из первоначального файла и финально подправить с 0 или с 1, или как там уже будет верно в будущем :)
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042217
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Это ведь не сложно? Ты бы избавил мир от лишних вопросов. И кстати. Есть система нумерации порядковых
номеров принятая в С++/Java. Она начинается с нуля. И есть система Pascal. Она идет с единицы. Это пустяк.
Но вообще когда говорят о ТЗ - то и такие мелочи оговаривают. Это - вопрос It-культуры.


Какая культура? - это промежуточный, никому не нужный результат.

Нельзя блин показывать недоделанную работу - нельзя.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042218
zyubr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miltorg

Зачем выдумывать? Я ведь выложил код первой обработки. И код второй обработки - с комментариями.


там такая жесточайшая путаница во всех предыдущих темах/комментариях...
...
Рейтинг: 0 / 0
25 сообщений из 471, страница 8 из 19
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]