|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
мозги напрягли? отлично РЕШЕНИЕ-"потеряшка" 3332-3333-3334-3338 4 3 5 7 9 11 17 20 22 23 24 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 12:54 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg Alex_Ustinov пропущено... а чем же я считаю? пальцем? Ок. ОК. До свидания ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 12:55 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1, Мы ведь отбросили это Хайдуп решение потому что его не сможет Юзер администрировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 12:59 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton, Если вы это у меня спрашиваете - то говорите по русски или дайте ссылку на ваши хромосомы и кластеры Матрицы проходил. Сложение, перемножение. Хромосомы - нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 13:03 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg mayton, Если вы это у меня спрашиваете - то говорите по русски или дайте ссылку на ваши хромосомы и кластеры Матрицы проходил. Сложение, перемножение. Хромосомы - нет. Прошу прощения. Чтоб задача была наполнена прикладным смыслом. Я ввожу (для себя названия). Потому-что числа и векторы - это какое-то масло-маслянное. Представте что вам бухгалтер скажет что в следующем месяце вы получите аж столько чисел. Поэтому хромосома это такая штука. Код: sql 1.
А кластер для нее это ее пересечение с другими хромосомами. Это те десятки и одинадцатки. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 13:17 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg miltorg __Avenger__, У меня ваш скрипт не запустился, к сожалению: mysql> source /media/miltorg/712B9BD2598A5E26/uuu/n3/u/SQLQuery24.sql; ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'drop table declare @t xml = '<root> <a date="31.05.2007" s="13 14 15 17 21 26 ' at line 2 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'EXEC sp_xml_preparedocument @docHandle OUTPUT, @t' at line 1 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'FROM OPENXML(@docHandle, N'/root/a',2) WITH (d varchar(10) '@date', s varchar(10' at line 3 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'insert into select try_convert(smalldatetime,t.d,104), v.value from cross appl' at line 2 mysql> Итак. осталось только это решение. И решение которое я почти написал сам вроде говорит что версия не та ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 13:17 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Еще вопрос. Являются ли исходные хромосомы (5000 штук) уникальными по заданию? Это может повлиять на смысл подсчета количества штук в кластере. Да. Исходный файл - железобетонный и в нём ничего изменяться не будет. Но каждый день будет приходить новая пачка строк. Возможно, что когда то заказчик попросит выкинуть из расчётов часть совсем старых строк. Возможно ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 13:21 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg miltorg пропущено... Итак. осталось только это решение. И решение которое я почти написал сам вроде говорит что версия не та mysql --version mysql Ver 8.0.23-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu)) У меня версия за январь этого года. Слишком новая? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 13:29 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
))) обычная текущая версия ......>mysql --version mysql Ver 8.0.23 for Win64 on x86_64 (MySQL Community Server - GPL) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 14:37 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
вся беда в том что скрипт у __Avenger__, не MySQL ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 15:01 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Alex_Ustinov, Спасибо. Значит нужно только писать самому. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 15:54 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Андрон. Ану зацени результат. Первая тыща центров кластеров. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:16 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
И еще тоже самое но отсортированное по количеству хромосом в кластере. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:17 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton И еще тоже самое но отсортированное по количеству хромосом в кластере. по мне так лажа. если это miltbase.txt, то в clusterDimenstions : 10 должно было попасть 66 хромосон с chromosomesInCluster : 5 https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1332994&msg=22276120 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:32 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
miltorg, Вам лучше всего будет переписать perl скрипт так чтобы он не вставлял миллион записей в $tab2, а хранил их в хеше прямо в памяти perl, потом проходил по тем, в которых насчитано больше одного и делал по ним отчёт. Но это сложно написать без рабочего тестового стенда. Могу предложить решение чисто на MySQL, но его может глючить если где-то пробелы будут лишние или элементов будет не 20. И сложно эти ситуации обработать средствами именно SQL. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108.
... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:32 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 mayton И еще тоже самое но отсортированное по количеству хромосом в кластере. по мне так лажа. если это miltbase.txt, то в clusterDimenstions : 10 должно было попасть 66 хромосон с chromosomesInCluster : 5 https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1332994&msg=22276120 Это top 4000 отсортированных по двум столбцам соотв. И поскольку в кластер с 10 измерениями попадает большая половина гипотетических центров кластеров (их порядка 29 тысяч) - то они просто отсеклись при выводе отчота. Сравни с 14 мерными лучше. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:39 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Это top 4000 отсортированных по двум столбцам соотв. И поскольку в кластер с 10 измерениями попадает большая половина гипотетических центров кластеров (их порядка 29 тысяч) - то они просто отсеклись при выводе отчота. Сравни с 14 мерными лучше. я не понимаю о чем речь. cat report-2.json5 | grep "clusterDimenstions : 14" ничего не выводит, а на верхних местах лажа. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:46 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
Victor Ichalov, Красота! Спасибо огромное. Мне нужно время чтоб это всё осмыслить. Но по выводу результатов - красотища. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:46 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 mayton Это top 4000 отсортированных по двум столбцам соотв. И поскольку в кластер с 10 измерениями попадает большая половина гипотетических центров кластеров (их порядка 29 тысяч) - то они просто отсеклись при выводе отчота. Сравни с 14 мерными лучше. я не понимаю о чем речь. cat report-2.json5 | grep "clusterDimenstions : 14" ничего не выводит, а на верхних местах лажа. Давай по конкретному кейсу. Я могу сформировать полный отчот. Просто его трудно аттачить к этому форуму (он больше 150К). Какие центры кластеров я упустил? Если сравнивать с твоими данными. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:51 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Давай по конкретному кейсу. Я могу сформировать полный отчот. Просто его трудно аттачить к этому форуму (он больше 150К). Какие центры кластеров я упустил? Если сравнивать с твоими данными. конкретно по clusterDimenstions : 10. должны быть записи с "clusterDimenstions : 10, chromosomesInCluster : 5", 66 штук. я их перечислил тут https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1332994&msg=22276120 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 19:55 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
У меня примерно 25 тыщ центров кластеров с размерностью 10. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
Сколько у тебя? Возможно я ошибаюсь. Но давай как-то приблизимся к ошибке если она есть. Я пофикшу. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 20:05 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
(переименовал maxClusterLength => maxClusterDimensions) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 20:07 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
mayton Сколько у тебя? Возможно я ошибаюсь. Но давай как-то приблизимся к ошибке если она есть. Я пофикшу. я уже не уверен где у меня посчитано по miltbase.txt и где по miltbase1.txt все что тебе нужно есть по ссылке, сделай cat miltbase.txt | grep "1 2 3 4 5 6 7 8 9 10 11 12" 14.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 15.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 26 27 28 29 30 16.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 35 36 37 38 39 40 17.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 44 45 46 47 48 49 50 18.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 53 54 55 56 57 58 59 60 т.е. должно быть туча хромосом с ключами от 1 до 12, попадающие в эти строки ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 20:21 |
|
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
|
|||
---|---|---|---|
#18+
H5N1 mayton Сколько у тебя? Возможно я ошибаюсь. Но давай как-то приблизимся к ошибке если она есть. Я пофикшу. я уже не уверен где у меня посчитано по miltbase.txt и где по miltbase1.txt все что тебе нужно есть по ссылке, сделай cat miltbase.txt | grep "1 2 3 4 5 6 7 8 9 10 11 12" 14.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 15.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 26 27 28 29 30 16.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 14 35 36 37 38 39 40 17.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 13 44 45 46 47 48 49 50 18.07.2016 1 2 3 4 5 6 7 8 9 10 11 12 53 54 55 56 57 58 59 60 т.е. должно быть туча хромосом с ключами от 1 до 12, попадающие в эти строки Я щас попробую встать на дебаггер и понять куда улетели эти 5 штук. Есть предположение что они склеились с кластером размерности 11 и выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2021, 20:42 |
|
|
start [/forum/topic.php?fid=47&startmsg=40042575&tid=1828188]: |
0ms |
get settings: |
12ms |
get forum list: |
13ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
42ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
others: | 243ms |
total: | 396ms |
0 / 0 |