ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
25 сообщений из 471, страница 17 из 19
  17  все
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042960
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
H5N1
mayton
Все выкладываю. Берите. Пользуйтесь. Работает 1.5 секунды на моём железе. Это при том что JVM - холодная
на таком старте.

Это работающий и самодостаточный код. Нужна Java-11 и maven сборщик для сборки с сорцов.

Бинарь я тоже приложу чтоб сразу запускать.

интегрейшен теста так и нет, беру mitbase.txt, 66 записей с пятью попаданиями в отчете нет.
перепроверяю файл
Код: plaintext
1.
2.
3.
4.
5.
6.
cat miltbase.txt  | grep "1 2 3 4 5 6 7 8 9 10 11 12"
14.07.2016      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
15.07.2016      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 26 27 28 29 30
16.07.2016      1 2 3 4 5 6 7 8 9 10 11 12 13 14 35 36 37 38 39 40
17.07.2016      1 2 3 4 5 6 7 8 9 10 11 12 13 44 45 46 47 48 49 50
18.07.2016      1 2 3 4 5 6 7 8 9 10 11 12 53 54 55 56 57 58 59 60

Бери новый файл miltbase1.txt
...
Рейтинг: 0 / 0
07.02.2021, 23:01
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042962
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
H5N1,

там кажись уже по данным mitbase1.txt
...
Рейтинг: 0 / 0
07.02.2021, 23:02
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042964
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Про инт-тесты я уже отвечал. Непонятно зачем два раза спрашивать?
...
Рейтинг: 0 / 0
07.02.2021, 23:07
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042967
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
mayton
Бери новый файл miltbase1.txt

не возьму. я уже на miltbase.txt вижу, что салфетка не работает.
...
Рейтинг: 0 / 0
07.02.2021, 23:16
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042968
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
с 9-ками то же решение
GROUP_CONCAT(t.id) strin xxx3332 3333 3334 3338 3 5 7 9 11 17 20 22 23 24 4макс 4 совпадения
10 комбинаций по 9 из набора 3 5 7 9 11 17 20 22 23 24
...
Рейтинг: 0 / 0
07.02.2021, 23:17
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042970
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
H5N1
mayton
Бери новый файл miltbase1.txt

не возьму. я уже на miltbase.txt вижу, что салфетка не работает.

Как будет угодно. Я не настаиваю.
...
Рейтинг: 0 / 0
07.02.2021, 23:24
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042973
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
вход
Код: plaintext
1.
2.
3.
4.
5.
14.07.2016	1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
15.07.2016	1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 26 27 28 29 30
16.07.2016	1 2 3 4 5 6 7 8 9 10 11 12 13 14 35 36 37 38 39 40
17.07.2016	1 2 3 4 5 6 7 8 9 10 11 12 13 44 45 46 47 48 49 50
18.07.2016	1 2 3 4 5 6 7 8 9 10 11 12 53 54 55 56 57 58 59 60

выход
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
{
  // Generated with SimilarChromosomeLookup (BitSet optimization) 1.0.2
  // Java Runtime Version : 15.0.1+9-18
  // Top 2147483647 clusters findings, ranked by 'elements'
  // Date: Sun Feb 07 22:29:21 EET 2021
  // Src: inputfile.txt
  // Threashold range : 10
  // Lines count : 5
  { clusterId : '1,2,3,4,5,6,7,8,9,10,11,12', clusterDimenstions : 12, chromosomesInCluster : 5, chromosomePositions : [1, 2, 3, 4, 5] }
  { clusterId : '1,2,3,4,5,6,7,8,9,10,11,12,13', clusterDimenstions : 13, chromosomesInCluster : 4, chromosomePositions : [1, 2, 3, 4] }
  { clusterId : '1,2,3,4,5,6,7,8,9,10,11,12,13,14', clusterDimenstions : 14, chromosomesInCluster : 3, chromosomePositions : [1, 2, 3] }
  { clusterId : '1,2,3,4,5,6,7,8,9,10,11,12,13,14,15', clusterDimenstions : 15, chromosomesInCluster : 2, chromosomePositions : [1, 2] }
  // ElapsedTime      : 50 ms, 
  // maxClusterDimensions : 15, 
  // maxChromosomesInCluster : 5 
  // clusters         : 4
}

нет ни clusterDimenstions : 11 ни clusterDimenstions : 10
...
Рейтинг: 0 / 0
07.02.2021, 23:35
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042974
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
8-ки - после первого захода поиска совпадений >=8
в таблице 954,203 строк

 
8-ки - добавляются кобинации с 4 совпадающими строкамиGROUP_CONCAT(t.id) strin xxx1037 3902 1 1267 13 14 29 38 42 44 51 63 44806 972 1977 18 13 14 35 40 48 59 65 73 43423 3331 4867 164 2 27 35 53 60 63 67 78 44401 4934 1699 298 2 3 11 34 36 50 56 79 4950 3673 3549 2876 2 7 16 23 27 47 53 55 44060 1250 3452 4898 23 31 41 42 48 53 54 55 41436 734 1790 1673 3 5 34 38 44 47 48 55 43332 3333 3334 3338 3 5 7 9 11 17 20 22 23 24 42114 3338 4941 3332 3 7 11 20 22 38 46 52 4267 442 1024 3587 4 5 21 22 26 34 43 54 4
...
Рейтинг: 0 / 0
07.02.2021, 23:41
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042977
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
H5N1

нет ни clusterDimenstions : 11 ни clusterDimenstions : 10

И что? Разве это ошибка?
...
Рейтинг: 0 / 0
07.02.2021, 23:45
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042982
Victor Ichalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Ichalov
Гость
mayton
Все прочие цели - такие как выдать на экран "ВСЁ" я считаю ложными.


Ну я посмотрел в код в меру своих знаний java (11 у меня под рукой нет чтобы запустить), всё действительно очень похоже на правду. Я почему-то имел предубеждение, что там должна быть какая-то ML библиотека, а не вложенные циклы. Скорость впечатляет, но она наверное ухудшится, если уменьшить if (cnt >= 10) { . А так, оно не должно пропускать как при градиентном спуске, т.е. выдаст именно "ВСЁ".

Давайте я выложу полный отчот.

Ну я нашёл уже искомое:
Код: sql
1.
2.
3.
4.
5.
6.
7.
mysql> select * from miltbase1 where concat(' ',sequence) like '% 13 %14 %29 %38 %42 %44 %51 %63 %76%';
+------------+-------------------------------------------------------------+
| date       | sequence                                                    |
+------------+-------------------------------------------------------------+
| 31.05.2007 | 13 14 15 17 21 26 29 31 32 34 38 39 40 42 44 51 60 63 67 76 |
| 01.04.2010 | 13 14 15 21 26 29 35 38 41 42 44 45 51 55 60 62 63 69 76 79 |
+------------+-------------------------------------------------------------+



Я думаю оно будет в отчёте если сделать if (cnt >= 9) { .
...
Рейтинг: 0 / 0
08.02.2021, 00:18
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042983
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
7-ки -
после первого захода поиска совпадений >=7
в таблице 2,432,768 строк

 
7-чисельные пересечения - появились 5 строк вхожденияStroki strIn XXX204 275 2739 4259 2311 2 26 36 37 52 69 79 52986 2813 2049 4169 829 6 13 24 28 32 34 54 53677 2194 1947 1779 4467 12 15 18 33 46 47 58 54298 4555 1803 1874 2029 6 9 10 24 28 36 64 5620 3332 3338 4499 3002 7 22 23 24 38 50 52 5827 1291 3545 2777 2748 16 23 28 31 47 48 65 5844 4434 4514 4079 4165 7 24 30 41 49 78 79 5

примерный тайминг формирования попарной таблицы пересечения множества чисел (во загнул, аж самому понравилось)
>=10 чисел 2мин /66тыс строк
>=9 чисел 4мин /288тыс
=8 8мин / 1млн
=7 18 мин / 2.4 млн строк
...
Рейтинг: 0 / 0
08.02.2021, 00:23
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043063
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
Но я тебе разработал софт. Он работает. Работает быстро. А ты - даже проигнорировал проверить результат?

Не ты первый, не ты последний.
...
Рейтинг: 0 / 0
08.02.2021, 05:14
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043066
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
Что-ж мне так не везёт, блин.

Везение - не нужно. Нужно работать головой и делать руками.
...
Рейтинг: 0 / 0
08.02.2021, 05:21
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043069
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
Пошёл 2 месяц "простенького задания". Но у меня есть хоть долгие, но решения.

Если бы некоторые сделали нормальное ТЗ и тестовые примеры, то уже получили бы работающее решение. Никто не может ничего сделать, потому что не может до конца понять, а что именно, собственно надо сделать.
...
Рейтинг: 0 / 0
08.02.2021, 05:24
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043070
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
Но это-же глупо правда? Дело даже не в том что миллиард поместистя или нет. А будет ли эта структура полезна для поиска или избыточна.

Нет. Надо миллиард. Так заказчик сказал.
...
Рейтинг: 0 / 0
08.02.2021, 05:26
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043133
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
Как это всё переписать на mySQL?

Не нужно. Еще раз, а то может не понятно. НЕ_НУЖНО
Всё решается в памяти.

Помоожете? Пожалуйста.

https://jsfiddle.net/0kemgyhv/

Проверь выхлоп, пожалуйста и сделай вменяемое ТЗ. А то на заказчиков ты говорил, что не понятно что хотят, а сам не лучше.

Исходные
 

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
1.08.1966    5 7 8 15 22 23 27 34 37 39 40 41 43 44 50 55 57 58 62 70
2.08.1966   3 5 9 12 15 16 19 20 23 25 29 30 34 37 43 48 55 58 59 61
3.08.1966   2 3 5 12 15 21 23 24 26 28 36 37 38 39 50 53 55 59 66 68
4.08.1966   2 3 5 7 8 11 14 16 19 25 35 43 50 51 55 60 61 66 67 70
5.08.1966   2 8 11 12 14 17 18 20 21 28 36 43 50 53 55 56 59 62 64 66
6.08.1966   2 5 10 11 15 16 18 19 27 29 30 32 33 35 42 43 45 62 63 65
7.08.1966   5 6 7 8 16 21 27 30 39 46 49 50 51 53 54 58 62 64 68 70
8.08.1966   1 2 3 7 9 11 12 13 15 17 20 24 26 28 34 45 48 49 61 66
9.08.1966   7 8 12 13 14 21 23 24 27 28 30 38 40 49 50 52 53 54 63 68
10.08.1966  1 3 5 7 9 10 14 21 23 27 31 34 45 46 47 48 51 52 64 65
11.08.1966  1 5 6 7 9 11 14 17 29 30 33 36 37 39 42 43 48 50 64 65
12.08.1966  2 9 11 12 13 17 18 23 25 27 33 38 40 44 45 46 47 52 64 66
13.08.1966  1 5 6 11 14 16 17 20 22 23 25 26 31 41 44 47 56 59 64 70
14.08.1966  3 5 9 19 24 25 26 27 28 33 34 40 45 50 53 55 59 63 64 66
15.08.1966  3 6 8 11 13 19 23 25 28 32 33 34 37 41 50 54 56 57 59 65
16.08.1966  2 3 5 7 15 23 28 29 32 37 38 46 49 50 52 53 59 60 61 62
17.08.1966  1 5 7 9 11 16 18 20 22 25 26 35 45 46 47 51 56 67 68 70
18.08.1966  11 15 16 22 25 28 29 32 34 35 42 43 47 49 52 53 54 57 62 63
19.08.1966  8 9 15 17 26 30 31 35 37 38 41 42 44 50 52 58 60 64 66 69
20.08.1966  4 6 8 15 16 17 18 24 26 33 34 35 36 37 42 44 50 54 65 69
21.08.1966  5 7 8 15 22 23 27 34 37 39 40 42 44 45 46 47 52 64 66 69
22.08.1966  5 7 8 15 22 23 27 34 37 39 40 71 72 73 74 75 76 77 78 79




Выхлоп
 

dates seq cnt1.08.1966;21.08.1966;22.08.19665 7 8 15 22 23 27 34 37 3961.08.1966;21.08.19667 8 15 22 23 27 34 37 39 4421.08.1966;21.08.19668 15 22 23 27 34 37 39 40 4421.08.1966;21.08.19667 15 22 23 27 34 37 39 40 4421.08.1966;21.08.19667 8 22 23 27 34 37 39 40 4421.08.1966;21.08.19667 8 15 23 27 34 37 39 40 4421.08.1966;21.08.19667 8 15 22 27 34 37 39 40 4421.08.1966;21.08.19667 8 15 22 23 34 37 39 40 4421.08.1966;21.08.19667 8 15 22 23 27 37 39 40 4421.08.1966;21.08.19667 8 15 22 23 27 34 39 40 4421.08.1966;21.08.19667 8 15 22 23 27 34 37 40 4421.08.1966;21.08.19665 8 15 22 23 27 34 37 39 4421.08.1966;21.08.19665 15 22 23 27 34 37 39 40 4421.08.1966;21.08.19665 8 22 23 27 34 37 39 40 4421.08.1966;21.08.19665 8 15 23 27 34 37 39 40 4421.08.1966;21.08.19665 8 15 22 27 34 37 39 40 4421.08.1966;21.08.19665 8 15 22 23 34 37 39 40 4421.08.1966;21.08.19665 8 15 22 23 27 37 39 40 4421.08.1966;21.08.19665 8 15 22 23 27 34 39 40 4421.08.1966;21.08.19665 8 15 22 23 27 34 37 40 4421.08.1966;21.08.19665 7 15 22 23 27 34 37 39 4421.08.1966;21.08.19665 7 22 23 27 34 37 39 40 4421.08.1966;21.08.19665 7 15 23 27 34 37 39 40 4421.08.1966;21.08.19665 7 15 22 27 34 37 39 40 4421.08.1966;21.08.19665 7 15 22 23 34 37 39 40 4421.08.1966;21.08.19665 7 15 22 23 27 37 39 40 4421.08.1966;21.08.19665 7 15 22 23 27 34 39 40 4421.08.1966;21.08.19665 7 15 22 23 27 34 37 40 4421.08.1966;21.08.19665 7 8 22 23 27 34 37 39 4421.08.1966;21.08.19665 7 8 23 27 34 37 39 40 4421.08.1966;21.08.19665 7 8 22 27 34 37 39 40 4421.08.1966;21.08.19665 7 8 22 23 34 37 39 40 4421.08.1966;21.08.19665 7 8 22 23 27 37 39 40 4421.08.1966;21.08.19665 7 8 22 23 27 34 39 40 4421.08.1966;21.08.19665 7 8 22 23 27 34 37 40 4421.08.1966;21.08.19665 7 8 15 23 27 34 37 39 4421.08.1966;21.08.19665 7 8 15 27 34 37 39 40 4421.08.1966;21.08.19665 7 8 15 23 34 37 39 40 4421.08.1966;21.08.19665 7 8 15 23 27 37 39 40 4421.08.1966;21.08.19665 7 8 15 23 27 34 39 40 4421.08.1966;21.08.19665 7 8 15 23 27 34 37 40 4421.08.1966;21.08.19665 7 8 15 22 27 34 37 39 4421.08.1966;21.08.19665 7 8 15 22 34 37 39 40 4421.08.1966;21.08.19665 7 8 15 22 27 37 39 40 4421.08.1966;21.08.19665 7 8 15 22 27 34 39 40 4421.08.1966;21.08.19665 7 8 15 22 27 34 37 40 4421.08.1966;21.08.19665 7 8 15 22 23 34 37 39 4421.08.1966;21.08.19665 7 8 15 22 23 37 39 40 4421.08.1966;21.08.19665 7 8 15 22 23 34 39 40 4421.08.1966;21.08.19665 7 8 15 22 23 34 37 40 4421.08.1966;21.08.19665 7 8 15 22 23 27 37 39 4421.08.1966;21.08.19665 7 8 15 22 23 27 39 40 4421.08.1966;21.08.19665 7 8 15 22 23 27 37 40 4421.08.1966;21.08.19665 7 8 15 22 23 27 34 39 4421.08.1966;21.08.19665 7 8 15 22 23 27 34 40 4421.08.1966;21.08.19665 7 8 15 22 23 27 34 37 4421.08.1966;22.08.1966;21.08.19667 8 15 22 23 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 8 15 22 23 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 15 22 23 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 22 23 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 23 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 22 27 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 22 23 34 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 22 23 27 37 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 22 23 27 34 39 4041.08.1966;22.08.1966;21.08.19665 7 8 15 22 23 27 34 37 4043.08.1966;5.08.19662 12 21 28 36 50 53 55 59 6623.08.1966;14.08.19663 5 24 26 28 50 53 55 59 6623.08.1966;16.08.19662 3 5 15 23 28 37 38 50 5323.08.1966;16.08.19663 5 15 23 28 37 38 50 53 5923.08.1966;16.08.19662 5 15 23 28 37 38 50 53 5923.08.1966;16.08.19662 3 15 23 28 37 38 50 53 5923.08.1966;16.08.19662 3 5 23 28 37 38 50 53 5923.08.1966;16.08.19662 3 5 15 28 37 38 50 53 5923.08.1966;16.08.19662 3 5 15 23 37 38 50 53 5923.08.1966;16.08.19662 3 5 15 23 28 38 50 53 5923.08.1966;16.08.19662 3 5 15 23 28 37 50 53 5923.08.1966;16.08.19662 3 5 15 23 28 37 38 53 5923.08.1966;16.08.19662 3 5 15 23 28 37 38 50 5926.08.1966;18.08.196611 15 16 29 32 35 42 43 62 6327.08.1966;9.08.19667 8 21 27 30 49 50 53 54 68210.08.1966;21.08.19665 7 23 27 34 45 46 47 52 64212.08.1966;21.08.196623 27 40 44 45 46 47 52 64 66213.08.1966;17.08.19661 5 11 16 20 22 25 26 47 56213.08.1966;17.08.19665 11 16 20 22 25 26 47 56 70213.08.1966;17.08.19661 11 16 20 22 25 26 47 56 70213.08.1966;17.08.19661 5 16 20 22 25 26 47 56 70213.08.1966;17.08.19661 5 11 20 22 25 26 47 56 70213.08.1966;17.08.19661 5 11 16 22 25 26 47 56 70213.08.1966;17.08.19661 5 11 16 20 25 26 47 56 70213.08.1966;17.08.19661 5 11 16 20 22 26 47 56 70213.08.1966;17.08.19661 5 11 16 20 22 25 47 56 70213.08.1966;17.08.19661 5 11 16 20 22 25 26 56 70213.08.1966;17.08.19661 5 11 16 20 22 25 26 47 70219.08.1966;20.08.19668 15 17 26 35 37 42 44 50 692


Еще раз говорю, cnt - не знаю, что такое, я сделал пары записей. Совпадения по 10 хардкод, везде хардкод, надо проверить комбинатор и сделать запись в файл, а оттуда можешь засунуть куда захочешь. Ошибки могут быть не существенные. Я тебе еще тогда говорил, проверяй выхлоп, но нет, не хочу, хочу еще 2 недели с mysql хернёй страдать.
Сделал, чтобы тебе ничего не надо было разворачивать. Тупо ссылка на jsfiddle выше. Просто нажми это.
Еще одна на всякий случай
...
Рейтинг: 0 / 0
08.02.2021, 07:33
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043195
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
доброе утро в Доме-2
6-ки
записей после поиска пар пересечения 6 чисел в множествах
COUNT(*)
4,864,490
 
6-чисельные пересечения - появились 7 строк вхождения1353 3241 1731 3634 3700 3598 2405 9 24 38 63 65 66 74547 2906 1659 1430 1950 1148 505 4 8 10 37 54 67 7

тайминг 8часов 30 мин!!!!
...
Рейтинг: 0 / 0
08.02.2021, 11:22
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043209
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
6-рки и выше. Тоже приблизительно 4 миллиона. Алгоритм работал 1 минуту.

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
  { clusterId : '49,51,52,53,54,60', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [970, 3918] }
  { clusterId : '14,19,49,52,53,54', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [970, 2988] }
  { clusterId : '19,20,21,22,49,79', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [3879, 4827] }
  { clusterId : '10,18,19,20,21,22', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [607, 2969] }
  { clusterId : '18,19,20,21,22,58', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [3410, 4235] }
  { clusterId : '18,19,20,42,53,54', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [607, 4441] }
  { clusterId : '20,21,22,50,51,65', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [22, 2831] }
  { clusterId : '22,50,51,52,53,65', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [3462, 3964] }
  { clusterId : '19,50,52,53,54,69', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [155, 2688] }
  { clusterId : '18,19,21,28,52,54', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [859, 3075] }
  { clusterId : '20,21,50,51,54,62', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [2929, 4697] }
  { clusterId : '20,21,22,30,50,51', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [1174, 4946] }
  { clusterId : '18,20,51,53,54,78', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [73, 1271] }
  { clusterId : '20,21,22,50,51,78', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [2371, 2831] }
  { clusterId : '16,18,20,21,22,51', clusterDimenstions : 6, chromosomesInCluster : 2, chromosomePositions : [2394, 4235] }
  // ElapsedTime      : 59832 ms, 
  // maxClusterDimensions : 17, 
  // maxChromosomesInCluster : 7 
  // clusters         : 4782087
}
...
Рейтинг: 0 / 0
08.02.2021, 11:32
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043213
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

Выше вы писали что у вас нет решения, а есть направления и показ пути и пр. И я не стал вообще смотреть на ваши коды.

Так у вас есть решение?
...
Рейтинг: 0 / 0
08.02.2021, 11:36
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043215
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Моё решение - не в том виде в котором ты хотел. Но зрячий увидит в нём алмаз.
...
Рейтинг: 0 / 0
08.02.2021, 11:42
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043217
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

Ок. Тогда обязательно посмотрю. - Как будет время на драгоценности.
Мне сейчас решение надо.
...
Рейтинг: 0 / 0
08.02.2021, 11:52
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043222
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Как будет угодно.
...
Рейтинг: 0 / 0
08.02.2021, 12:03
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043230
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
innodb_buffer... = 3G
8час.
вот над этим и надо думать, если делать в MySQL, что ждет в ближайшем будущем
так как в течении месяца добавятся 30 записей и т.д.
все опять начнет тормозить
постоянным увеличением памяти не отделаешься.
 
таблица V=1,4G на диске 1,9G
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
CREATE TABLE otvet (
  id1 int DEFAULT NULL,
  id2 int DEFAULT NULL,
  strin char(100) DEFAULT NULL,
  bin10 binary(100) DEFAULT NULL,
  XXX int DEFAULT NULL
);
ALTER TABLE otvet
ADD INDEX IDX_otvet_strin (strin);

ALTER TABLE otvet
ADD INDEX IDX_otvet_XXX (XXX);


наполнение пару строк
id1 id2 strin bin10 ХХХ1 11 14 17 21 26 29 32 34 42 76 здесь строка из 01 длиной 100 91 25 13 15 17 29 31 32 34 38 51 60 76 здесь строка из 01 длиной 100 11
 
запрос простой влоб
Код: sql
1.
2.
3.
4.
5.
6.
7.
SELECT GROUP_CONCAT(t.id), t.strin, COUNT(*) AS xxx FROM 
(SELECT o.id1 AS id, o.strin FROM otvet o WHERE o.XXX = 6
UNION 
SELECT o.id2 AS id, o.strin FROM otvet o WHERE o.XXX = 6) AS t
GROUP BY t.strin
HAVING XXX>=5
ORDER BY xxx DESC, 1;



имхо, вот на этом этапе надо пробовать сбросить подзапросы в табл MEMORY
...
Рейтинг: 0 / 0
08.02.2021, 12:23
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043235
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
это решение для победителей лотереи "6 из 20" , если кто пропутил
выиграло 14 билетов (по 7 билетов в 2ух комбинациях)
утешительный приз 1 евро/час, запрос работал 8 часов, значит выигрыш 8 евро/час
 
6-чисельные пересечения - появились 7 строк вхождения1353 3241 1731 3634 3700 3598 2405 9 24 38 63 65 66 74547 2906 1659 1430 1950 1148 505 4 8 10 37 54 67 7
...
Рейтинг: 0 / 0
08.02.2021, 12:33
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043236
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Alex_Ustinov
вот на этом этапе надо пробовать сбросить подзапросы в табл MEMORY

Можно просто сразу сбросить всё в MEMORY не приплетая сюда mysql. На том же пёрле есть словари. Просто берешь и наполняешь словарь, пока пёрл не крякнет. Потом переписываешь на что-то, что не так жрёт память. Зачем вы вообще вцепились зубами в бд? На текущем этапе она не нужна вообще. Необходимость появится, когда там будет больше 50-100к исходных записей.
...
Рейтинг: 0 / 0
08.02.2021, 12:33
| Ответить | Цитировать | Написать  
25 сообщений из 471, страница 17 из 19
  17  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40042967&tid=1828188]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 158ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 68ms
get tp. blocked users:
 2ms
others: 14ms
total:  286ms
созд. / загр.: 286ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]