ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
25 сообщений из 336, страница 3 из 14
  3  все
Как отсортировать 1 миллиард записей?
    #40034430
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Изменил:

Код: plsql
1.
2.
3.
4.
5.
6.
CREATE TABLE tabiz2010
(
    id  int(11) PRIMARY KEY auto_increment, 
    Dannye VARCHAR(40),
    myData VARCHAR(12)
);
...
Рейтинг: 0 / 0
09.01.2021, 18:35
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034431
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg,

myData VARCHAR(12) это почему так?
...
Рейтинг: 0 / 0
09.01.2021, 18:37
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034433
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
mayton,
Исходник - маленький. - 5 тысяч строк по 20 цифр

Опубликуй здесь в форуме хотя-бы 100 строк чтоб было наглядно.
...
Рейтинг: 0 / 0
09.01.2021, 18:37
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034434
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
mayton
Опубликуй здесь в форуме хотя-бы 100 строк чтоб было наглядно.
присоединяюсь
и что про сжатие 50Г?
...
Рейтинг: 0 / 0
09.01.2021, 18:38
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034435
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
Изменил:

Код: plsql
1.
2.
3.
4.
5.
6.
CREATE TABLE tabiz2010
(
    id  int(11) PRIMARY KEY auto_increment, 
    Dannye VARCHAR(40),
    myData VARCHAR(12)
);


Шапка отличается от этого.

Код: sql
1.
2.
3.
4.5.2012	3 8 9 11 16 28 30 31 35 37 40 43 48 53 54 58 59 60 61 68
5.5.2012	5 6 8 11 16 18 19 22 25 34 37 40 42 51 55 59 61 64 65 69
6.5.2012	10 15 16 18 23 24 27 29 31 33 36 38 53 55 57 58 62 66 67 68



myData - это дата? А Данные - 40 символов. Маловато для второго поля.
...
Рейтинг: 0 / 0
09.01.2021, 18:39
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034439
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

Сейчас. - Организую заполнение - тогда и покажу уже заполнение таблицы.
-------------
Исходник не мой - выложить не могу.
...
Рейтинг: 0 / 0
09.01.2021, 18:43
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034440
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg,

разрядность чисел только 1 и 2 знака?
...
Рейтинг: 0 / 0
09.01.2021, 18:47
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034449
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя,

Да
...
Рейтинг: 0 / 0
09.01.2021, 19:07
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034454
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
Да
ну тогда к одноразрядным добавить 0 и убрать пробелы
уменьшится размер и сортировка ускорится
...
Рейтинг: 0 / 0
09.01.2021, 19:40
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034456
KpoxaPym
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KpoxaPym
Участник
miltorg
ptr128, если это правда - то спасибо вам огромное. Вы вселили в меня надежду что я наконец то справлюсь с этой задачей.

В чём же была моя ошибка? В том что я пытался сортировать в phpmyAdmin?


На хостинге, мне кажется, квота стоит на доступ к системным ресурсам. Если дело в этом, то обращение из собственного скрипта никак не повлияет на результат. Будет всё то же самое.
...
Рейтинг: 0 / 0
09.01.2021, 19:52
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034463
Александр Бердышев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Александр Бердышев
Участник
Вопрос в том, что нужно получить в результате.
csv файл с миллиардом записей?
Можешь попробовать в биг дату в паркет перегнать с партиционированием по полю сортировки.
А так общий совет - "есть слона по кускам" выбрать первую часть данных, по тому полю, по какому сортируют, потом вторую порцию данных и так далее...
...
Рейтинг: 0 / 0
09.01.2021, 20:17
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034464
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Александр Бердышев,

В результате - нужно 100 первых цифр
...
Рейтинг: 0 / 0
09.01.2021, 20:21
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034466
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Полезли первые циферки:

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
mysql> select * from tabiz2010;
+----+----------------------------+----------+
| id | Dannye                     | myData   |
+----+----------------------------+----------+
|  1 | 5_7_8_15_22_23_27_34_37_39 | 2.1.2012 |
|  2 | 5_7_8_15_22_23_27_34_37_40 | 2.1.2012 |
|  3 | 5_7_8_15_22_23_27_34_37_41 | 2.1.2012 |
+----+----------------------------+----------+
3 rows in set (0.00 sec)
...
Рейтинг: 0 / 0
09.01.2021, 20:28
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034468
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Зависает. На первой же строке исходника - зависает.
...
Рейтинг: 0 / 0
09.01.2021, 20:50
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034469
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
Зависает. На первой же строке исходника - зависает.
фантастика!!!
...
Рейтинг: 0 / 0
09.01.2021, 20:58
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034470
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Всем,

Оно не зависает!
Оно пишет 1000 записей около 20 сек.
Сейчас точно скажу.
Так и должно быть?
...
Рейтинг: 0 / 0
09.01.2021, 21:07
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034471
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
Оно не зависает!
Оно пишет 1000 записей около 20 сек.
Сейчас точно скажу.
Так и должно быть?
все зависит от того что ты делаешь, и что за железо у тебя
...
Рейтинг: 0 / 0
09.01.2021, 21:09
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034472
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
10 тысяч записей - 3 мин !!!

50 записей в секунду.

Так и должно быть?
...
Рейтинг: 0 / 0
09.01.2021, 21:17
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034474
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
10 тысяч записей - 3 мин !!!

50 записей в секунду.

Так и должно быть?
как ты пишешь?
...
Рейтинг: 0 / 0
09.01.2021, 21:19
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034475
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя,

У вас сколько записей в секунду?
...
Рейтинг: 0 / 0
09.01.2021, 21:19
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034476
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя,

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
for($i1=0;$i1<20;++$i1){
  for($i2=$i1 + 1;$i2<20;++$i2){
    for($i3=$i2 + 1;$i3<20;++$i3){
      for($i4=$i3 + 1;$i4<20;++$i4){
        for($i5=$i4 + 1;$i5<20;++$i5){
          for($i6=$i5 + 1;$i6<20;++$i6){
            for($i7=$i6 + 1;$i7<20;++$i7){
              
              for($i8=$i7 + 1;$i8<20;++$i8){
                for($i9=$i8 + 1;$i9<20;++$i9){
                  for($i10=$i9 + 1;$i10<20;++$i10){

$r = "$u[$i1]_$u[$i2]_$u[$i3]_$u[$i4]_$u[$i5]_$u[$i6]_$u[$i7]_$u[$i8]_$u[$i9]_$u[$i10]";
  
$dbh->do("INSERT INTO tabiz2010 VALUES (null, '$r', '$d')");

++$kol;


    goto FFF if $kol>3000;
    if(++$k>1000) {print "$kol\n"; $k=0;}


}}}}}}}}}}
...
Рейтинг: 0 / 0
09.01.2021, 21:22
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034477
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg,

это что такое?
...
Рейтинг: 0 / 0
09.01.2021, 21:25
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034478
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя,
что вам не понятно?
...
Рейтинг: 0 / 0
09.01.2021, 21:29
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034479
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
что вам не понятно?
это генерация случайных значений?
и запись по одной записи?
тогда
автор50 записей в секунду.нормально
...
Рейтинг: 0 / 0
09.01.2021, 21:31
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40034480
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
10 тысяч записей - 3 мин !!!

50 записей в секунду.

Так и должно быть?

Медленная скорость вставки в БД?

Много может быть причин. Самое тривиальное - у тебя включен режим autocommit.
В этом случае БД напрягается фиксируя каждое движение в общий перформанс низкий.
...
Рейтинг: 0 / 0
09.01.2021, 21:34
| Ответить | Цитировать | Написать  
25 сообщений из 336, страница 3 из 14
  3  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40034478&tid=1828220]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 6ms
check topic access:
 6ms
track hit:
 41ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 259ms
total:  397ms
созд. / загр.: 397ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]