ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
21 сообщений из 471, страница 19 из 19
  19  все
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043320
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
mayton,

надо join ть
я же показываю влоб через Union.
это отрабатывается быстро
Код: sql
1.
SELECT o.id1 AS id, o.strin FROM otvet o WHERE o.XXX = 6

UNION ALL в подзапросе по логике не проходит
...
Рейтинг: 0 / 0
08.02.2021, 15:16
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043339
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
какой то сбой был
5мин. group By
может буфер "разогрелся"
...
Рейтинг: 0 / 0
08.02.2021, 15:55
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043384
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Попробуй на Постгресе конечно. Но мне кажется что задачу на DBMS-ке тоже надо решать с привлечением
биткарт. Я имею в виду 128-битное целое как базовый поисковой тип и операции AND + BIT_COUNT
как только есть любая возможность.

Я даже думаю что Perl будь у него такая возможность показал - бы сравнительно терпимый результат
если уйти от строк и коллекций к нормальным регистрам процессора и быстрым булевым операциям.

Кто знает Perl, есть ли там поддержка такого?

Собственно кто-то умный еще 1 месяц назад Андрею ванговал про bitwise operations но его светлый
голос потонул в пучине каких-то загрузок и таблиц.
...
Рейтинг: 0 / 0
08.02.2021, 16:56
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043403
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
mayton,

уже получили пары (неважно как BIT_COUNT() или перебором множеств), т.е. это не проблема
вопрос - дальше что?
я группирую по пересечению множеств (по совпадению строк)
...
Рейтинг: 0 / 0
08.02.2021, 17:29
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043411
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Дальше что? Получить бабос от шефа.
...
Рейтинг: 0 / 0
08.02.2021, 17:41
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043443
Victor Ichalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Ichalov
Гость
mayton
бесконечную масштабируемость по размеру вектора хромосомы


Я ещё немного подумал и мне кажется тут может быть проблема (не с этим датасетом, а вообще). Сейчас получается, что весь датасет занимает в закодированном виде около 64Кб. Т.е. умещается весь в кеш первого уровня хорошего процессора. Отсюда такая милота, как 10млн. сравнений в секунду.

С увеличением размера вектора видимо придётся увеличивать и максимальное значение, которое надо хранить, иначе значений будет не хватать, а для этого нужно увеличить INITIAL_BITSET_SIZE. По идее это дожно приводить к более-менее линейному росту времени выполнения само по себе. Но вдобавок, оно может так дорасти до того что не будет больше помещаться в кеш и это уже должно привести к сильному росту времени выполнения (но видимо когда-то выйдет опять на линейное).

Было бы интересно попробовать проверить эти измышления увеличивая INITIAL_BITSET_SIZE и возможно добавляя цифры перед 20-м элементом в векторе, чтобы он становился в диапазоне 101-200 или 1001-1100, а не 1-100. Но у меня нет пока времени, если есть интерес, попробуйте сами.
...
Рейтинг: 0 / 0
08.02.2021, 18:17
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043468
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я немножко подустал от этой задачи. Уже хочется переключится на что-то другое.

И сама тема лотерей и комбинаторик очень быстро надоедает. Да и что искать в ней. Если распределение
изначально идеально - какие задачи ставить? Быстрый поиск?

Насколько быстрый? Какой ценой? И следующий шаг какой?
...
Рейтинг: 0 / 0
08.02.2021, 19:55
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043715
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Таблица t3. Первый проход. 102 сек.



Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
mysql> select * from t3 where XXX>13;
+------+------+------------------------------------------+----------------------+------+
| id1  | id2  | u1                                       | u                    | XXX  |
+------+------+------------------------------------------+----------------------+------+
|  160 | 2504 | 48,44,42,38,32,30,26,16,12,10,4,1        | 72,69                |   14 |
|  531 | 2093 | 50,39,34,31,24,13,11                     | 75,71,69,62,58,56,54 |   14 |
|  760 | 2616 | 42,41,36,32,25,19,18,17,13,7,4,3         | 76,64                |   14 |
|  982 | 2950 | 42,40,35,34,33,28,17,10                  | 79,77,75,73,69,51    |   14 |
| 3192 | 4827 | 49,38,36,30,28,26,22,21,20,3             | 79,62,61,53          |   14 |
| 3199 | 3587 | 50,46,34,28,26,22,5,4,3,2                | 79,67,55,53          |   14 |
| 3332 | 3338 | 50,46,44,39,38,24,23,22,20,17,11,9,7,5,3 | 63,52                |   17 |
+------+------+------------------------------------------+----------------------+------+
...
Рейтинг: 0 / 0
09.02.2021, 15:12
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043719
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Полное совпадение с моим результатом:

22276759

У кого ещё есть > 14 для проверки?
...
Рейтинг: 0 / 0
09.02.2021, 15:18
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043723
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg,

перечитай последние 6 страниц, давно уже многие подсчитали
22276747
и далее смотри уже выложены решения по 9-кам 8-кам 7-кам и 6-кам
...
Рейтинг: 0 / 0
09.02.2021, 15:25
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043725
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
а зачем u1 и u?
...
Рейтинг: 0 / 0
09.02.2021, 15:30
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043731
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Да вроде пройденный этап.

Код: sql
1.
  { clusterId : '3,5,7,9,11,17,20,22,23,24,38,39,44,46,50,52,63', clusterDimenstions : 17, chromosomesInCluster : 2, chromosomePositions : [3332, 3338] }
...
Рейтинг: 0 / 0
09.02.2021, 15:42
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043760
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov
а зачем u1 и u?



Потому что двоичное у меня только до 64-х бит
...
Рейтинг: 0 / 0
09.02.2021, 16:28
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043762
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg,

не надо BIT
используй BINARY(100) и пиши туда все сразу
...
Рейтинг: 0 / 0
09.02.2021, 16:34
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043765
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

А чем лучше?
...
Рейтинг: 0 / 0
09.02.2021, 16:44
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043768
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg,

ну дальше не надо конкатенацию делать для сравнения, сравниваешь одно поле, я это уже писал 200км назад
...
Рейтинг: 0 / 0
09.02.2021, 16:58
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043793
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я обрезал аутпут потому что мой отчот просто в форум не пролезал.
...
Рейтинг: 0 / 0
09.02.2021, 19:33
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043823
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
mayton
Я обрезал аутпут потому что мой отчот просто в форум не пролезал.


А 6-ки у Вас за сколько считаются?
...
Рейтинг: 0 / 0
09.02.2021, 22:10
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043835
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
Arhat109
О, круто! Процес оказывается ещё в самом разгаре .. то есть ещё никто не выложил готовое решение ТС-у с доплатой?!? :D


Мое решение

Запуск
Код: plaintext
FindDNKGroup.exe miltbase1.txt 7

7-ки считает за 54 секунды на стареньком ноутбуке

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
Loading from file "miltbase1.txt"...
  > 5000 records loaded (20 ms, 0.00033 min)
Prepare data...
  > 2419569/2432768 unique records prepared (3000 ms, 0.05000 min)
Creating permutations...
  > 31154224 records add (26450 ms, 0.44083 min)
Finding winners...
  | 3 12 21 41 58 71 77 => 6: 21.03.2009 21.06.2012 05.12.2013 25.11.2017 28.04.2019 04.08.2019 
  | 9 13 20 34 39 69 77 => 6: 28.10.2007 14.06.2009 18.09.2014 09.03.2018 03.07.2019 22.12.2020 
  | 2 7 27 54 63 70 79 => 6: 16.03.2015 18.09.2015 15.06.2018 24.10.2018 12.07.2019 19.03.2020 
  | 10 45 55 70 71 73 76 => 6: 09.06.2008 29.05.2012 09.05.2014 24.07.2015 17.09.2015 15.03.2018 
  | 3 9 15 26 64 75 77 => 6: 02.08.2013 17.02.2014 25.04.2014 12.03.2015 03.11.2018 16.12.2020 
  | 5 9 11 17 22 23 24 => 6: 13.07.2016 14.07.2016 15.07.2016 19.07.2016 22.02.2018 26.04.2018 
  | 12 15 36 46 57 59 77 => 6: 28.12.2009 03.02.2010 05.06.2010 26.08.2011 02.07.2014 29.10.2019 
  | 3 34 48 49 62 64 73 => 6: 26.10.2007 07.05.2008 24.12.2008 20.12.2018 05.03.2019 01.08.2020 
  | 9 23 38 41 55 64 69 => 6: 06.10.2007 23.07.2009 04.09.2011 11.05.2013 15.03.2014 31.12.2020 
  | 9 12 28 44 47 77 79 => 6: 07.03.2009 10.09.2011 06.08.2012 17.12.2014 26.01.2016 17.11.2019 
  | 1 10 19 33 48 53 62 => 6: 09.03.2008 16.11.2012 15.06.2014 11.10.2014 26.07.2015 10.08.2016 
  | 9 23 28 33 55 61 65 => 6: 28.07.2010 18.11.2011 16.08.2015 27.08.2015 21.06.2016 12.01.2021 
  | 4 8 20 27 29 46 47 => 6: 17.09.2008 02.06.2011 13.12.2014 09.11.2016 12.05.2018 20.10.2020 
  | 15 16 17 22 37 44 68 => 6: 01.02.2010 28.09.2010 29.04.2011 08.01.2013 21.09.2016 05.10.2018 
  | 5 12 21 24 26 35 36 => 6: 09.11.2008 20.06.2012 11.04.2013 07.09.2016 16.05.2017 26.11.2017 
  | 9 16 19 45 52 69 70 => 6: 23.01.2008 10.01.2009 13.05.2009 31.12.2009 23.07.2013 28.09.2018 
  > 16 records finded (5900 ms, 0.09833 min)
==< OK (52560 ms, 0.87600 min)
...
Рейтинг: 0 / 0
09.02.2021, 22:56
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043839
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alex_Ustinov
mahoune, miksoft заняты
mahoune уже давно не модерирует.
А я болею и сил вчитываться особо нет.
...
Рейтинг: 0 / 0
09.02.2021, 23:18
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40043842
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Топик частично почистил и закрываю.

miltorg , пожалуйста, не создавайте больше топиков по общим вопросам в подфоруме по MySQL.
Буду либо переносить по собственному разумению, либо просто удалять.
...
Рейтинг: 0 / 0
09.02.2021, 23:21
| Ответить | Цитировать | Написать  
21 сообщений из 471, страница 19 из 19
  19  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40043835&tid=1828188]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 190ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 16ms
total:  307ms
созд. / загр.: 307ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]