|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, а если в лоб падает? Код: sql 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:34 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
вадя, А как вы предлагаете? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:41 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg А как вы предлагаете? когда вставляется по несколько строк. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:44 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, https://dev.mysql.com/doc/refman/8.0/en/insert.html http://www.mysql.ru/docs/man/INSERT.html ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:44 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
ptr128, Я в первом сообщении ошибся. Ничего не падает. Просто запись в БД - 50 записей в сек. Ваш запрос я вообще не понял. Пока никакой сортировки нет. Пока только наполнение. Я не могу с такой скоростью обработать наполнение даже из одной строки исходного файла. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:45 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg Я не могу с такой скоростью обработать наполнение даже из одной строки исходного файла. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:48 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, я так понял, что в Вашей таблице миллиард записей и Вы хотите найти те, в которых поле Dannye совпадает больше трех раз. Именно это запрос и делает. Или я неправильно понял? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:48 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
mayton, Спасибо. Хоть и не понятно как этим воспользоваться в моём случае. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:50 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, ты вставляешь из файла? или? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:52 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
ptr128, Вы всё правильно поняли. Но раньше я работал на другой машине - на хостинге - там наполнение шло гораздо веселей. и не вызывало затруднений. А сейчас я завис даже на наполнении. То есть пока нет никакой сортировки - пока просто наполнение. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:54 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg mayton, Спасибо. Хоть и не понятно как этим воспользоваться в моём случае. В консоли это называется autocommit off. Обычно После этого пачка inserts рассматривается как 1 транзакция а не сто тыщ. Разумеется в конце надо дать явный commit. Еще одно. Я не спец в MySQL. Но обычно в БД для пакетной загрузки batch/bulk insert из текстовых файлов, разработаны готовые утилиты. Возможно вот эта она https://dev.mysql.com/doc/refman/8.0/en/mysqlimport.html В Oракле ей аналог - sqlloader. Эти утилиты знаю много workarounds чтоб писать пачками и в 1 транзакцию и еще и используют другие хитрости. Тоесть если ты хочешь загрузить лярд строк в БД - то лучше всего на Perl просто сформировать текстовый файл и потом его прогрузить с помощью mysqlimport. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:56 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, просто записать в файл - сможешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:57 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
вадя, исходный файл - 5 тысяч строк день года и 20 цифр Из 20 цифр нужно сделать различные. неповторяющиеся комбинации из 10 цифр И так с каждой строкой исходного файла. Потом сортировка - для того, чтоб найти повторы. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 21:58 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
вадя, Запросто и быстро. Около 50 ГБ получается. Около часа работы - если кусками. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:01 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, Но текстовые файлы сами по себе ничего не сортируют, к сожалению. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:03 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, а в каком виде эти данные сейчаc? И что мешает их загрузить через Код: sql 1. 2. 3.
... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:04 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
mayton, Спасибо. Если я вас правильно понял - нужно пытаться сделать меньше запросов. Сейчас подумаем как... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:05 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
ptr128, Пока ни в каком вообще. Потому как со скоростью 50 записей в секунду - я до смерти не загружу 1 миллиард :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:08 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg, ну в каком-то виде эти данные все же должны быть? Иначе грузить нечего. Вот я и спрашиваю, какой формат исходных данных? Просто текстовый файл? Результат выгрузки mysqldump? Или еще что-то? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:12 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg Но текстовые файлы сами по себе ничего не сортируют, к сожалению. я ж ссылки дал!!!! miltorg Запросто и быстро. Около 50 ГБ получается. Около часа работы - если кусками. потом вставь всё из него https://dev.mysql.com/doc/refman/8.0/en/loading-tables.html ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:13 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
miltorg miltorg, Но текстовые файлы сами по себе ничего не сортируют, к сожалению. Если эту задачу поднимать например в Unix форумах - то там она решается мгновенно. Админы юзают эту утилиту. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
Она достаточно шустро сортирует текстовые файлы. И даже есть дисковые оптимизации на тот случай когда окно сортировки стало больше чем доступная память. Единственно... для нашего случая где строка - композитная надо ее авк-нуть или гавкнуть. Как-то так. Чтоб выбрать вторую колонку после даты. Код: sql 1.
Опция -nr должна делать подсчет. Еще некоторые детали по реализаци здесь http://vkundeti.blogspot.com/2008/03/tech-algorithmic-details-of-unix-sort.html ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:13 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
ptr128, Спасибо! Всё забегало гораздо быстрее. Гораздо. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:15 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
Сделало 100 тысяч за 2 мин 800 записей в секунду - это уже лучше. Я что то забыл. А сколько вариантов с одной строки? 10 из 20? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 22:27 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
Ура! Я обработал 1-ю строку. Осталось всего то 5 тысяч строк и плюс каждый день по строке. :-) Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 23:08 |
|
Как отсортировать 1 миллиард записей?
|
|||
---|---|---|---|
#18+
Есть еще такая хакерская штука как "кранч" Код: sql 1. 2. 3. 4. 5. 6. 7.
С моей точки зрения она - годится для брутфорса. Но авторы - завуалировано сообщают что это создавалка "списка слов базирующихся на критериях". Вобщем если эти хромосомы - суть 10 цифр в 20 ричной системе счисления - то мы можем их всех сгенерить так. Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2021, 23:26 |
|
|
start [/forum/topic.php?fid=47&msg=40034481&tid=1828220]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
7ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 161ms |
0 / 0 |