|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
Доброе утро! Есть таблица на ~ 400 000 000 записей. Один из столбцов хранит 12-ти символьный идентификатор (321654987021). требуется выборка по этому столбцу. Многократная. Требуется проверить на вхождение массив из ~ 90 000 идентификаторов. Оптимально ли для таких объемов использовать MySQL? Спасибо) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 08:16 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfurОптимально ли для таких объемов использовать MySQL?Зависит от предъявляемых требований и имеющихся ресурсов. Потенциально - вполне реально. Если покажете конкретные данные (структуры таблиц, образец данных, SQL-запрос), то подскажем как оптимизировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 08:19 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfurОдин из столбцов хранит 12-ти символьный идентификатор (321654987021).Тип данных - целочисленный? Поле индексировано? kalamfurТребуется проверить на вхождение массив из ~ 90 000 идентификаторов.Слить их во временную таблицу, проиндексировать - JOIN взлетит... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 09:38 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
Akinaпроиндексировать - JOIN взлетиттут индексировать нужно большую таблицу. А лучше сразу ПК на это поле. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 11:21 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
кстати, если, например, в таблице 400 000 000 строк и среди них 1/4 с текстом есть ли смысл текст в отдельной таблице держать, чтобы эта была лёгкой, в которой одни цифры? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 12:37 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
полудухкстати, если, например, в таблице 400 000 000 строк и среди них 1/4 с текстом есть ли смысл текст в отдельной таблице держать, чтобы эта была лёгкой, в которой одни цифры?в отдельной таблице хранить только поле с текстом или целиком всю запись? Если первое, то для исходного вопроса смысла нет. Если второе, то смысл в некоторых случаях может быть. В общем, зависит от деталей. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 12:41 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
miksoftтут индексировать нужно большую таблицу.За это я уже спросил - ждём, появится ли автор... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 12:54 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
miksoft, только текст случаи, когда этот текст нужен не всегда - тут конечно смысл есть но вот случаи, когда он нужен вместе с основной таблицей, будут работать медленнее ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2019, 14:06 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
miksoft, Akina, Вот такая таблица: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87.
соответственно, по полю number и интересует выборка как я понял самое правильное это временная таблица и JOIN ? ps: пардон, совсем отвлекли на работе, замотался не ответил сразу ... |
|||
:
Нравится:
Не нравится:
|
|||
14.10.2019, 16:20 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfurпо полю number и интересует выборкаКакая повторяемость значений в этом поле ожидается? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.10.2019, 21:19 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
miksoft, номера могут повторяться, т.е. не удастся назначить уникальный ключ или ПК. Текста не будет, это телефонные номера, соотв. однотипный набор цифр ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 08:21 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfur, Т.е. повторяемость будет низкая? Тогда индекса на это поле будет достаточно, скорее всего. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 11:02 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
авторТогда индекса на это поле будет достаточно, скорее всего. вынести в отдельную таблицу и кластерный индекс по нему сделать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 12:25 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
ScareCrowкластерный индекс по нему сделать.значение не уникальное. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 12:47 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
miksoftТ.е. повторяемость будет низкая? Тогда индекса на это поле будет достаточно, скорее всего. для поиска имеет смысл формировать временную таблицу и JOIN'ить ? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 13:05 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
авторзначение не уникальное. добить чем нить до уникального. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 13:12 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfurmiksoftТ.е. повторяемость будет низкая? Тогда индекса на это поле будет достаточно, скорее всего. для поиска имеет смысл формировать временную таблицу и JOIN'ить ?если за раз искать все 90000 значений, то да. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 13:54 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
Спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2019, 21:03 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
ScareCrowавторзначение не уникальное. добить чем нить до уникального. Тогда придется перебирать LIKE'ом. Это ж медленнее, нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 08:05 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
kalamfurТогда придется перебирать LIKE'ом. Это ж медленнее, нет?если mysql 8+ то не очень для 10 000 000 поиск заранее отсутствующей комбинации (т.е. сканирование всей таблицы) - 3-4 сек. но надо проверять. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 08:21 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
авторТогда придется перебирать LIKE'ом. зачем? автордля 10 000 000 поиск заранее отсутствующей комбинации моментально. кластерный индекс же есть, зачем сканировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 10:23 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
ScareCrowмоментально. кластерный индекс же есть, зачем сканировать?для like? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 15:40 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
вадяScareCrowмоментально. кластерный индекс же есть, зачем сканировать?для like? вы доку читали? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 16:43 |
|
[mySQL] Поиск. Большие объемы
|
|||
---|---|---|---|
#18+
ScareCrowвы доку читали?дай ссылку ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2019, 20:20 |
|
|
start [/forum/topic.php?fid=47&msg=39876845&tid=1828904]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
56ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
others: | 313ms |
total: | 465ms |
0 / 0 |