ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
25 сообщений из 336, страница 11 из 14
  11  все
Как отсортировать 1 миллиард записей?
    #40036639
paver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paver
Гость
miltorg
paver,

У меня такое ощущение, что вы пытаетесь рассказать о том, как находить совпадения в 2 строках.

Я это решил по простому - загнал цифры в массивы и применил функцию которая ищит совпадения массивов.

1. Это не ощущение. Именно это вам и пытаются рассказать.
2. Я это решил по простому - загнал цифры числа в битовые строки и применил битовую операцию, которая показывает совпадения.

Я не видел вашего кода поиска совпадений, но очевидно, что он на несколько порядков (!) медленнее битовой операции A & B.

BIT_COUNT(A&B) - это и есть мой код. Покажите ваш

Это во-первых. А во-вторых, предлагаемое решение - для общего случая. BIT_COUNT просто даст количество совпавших чисел, а отфильтровать нужные строки можно элементарным WHERE BIT_COUNT(A & B) IN (10, 11, 12) (ну или просто >=10).
...
Рейтинг: 0 / 0
17.01.2021, 20:51
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036655
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
paver,

Я ведь писал код. Раз:

22260895

Два:

22264457

И уже 4 раза написал что скорость в данном случае не имеет значения

Вы знаете. Я не стану больше с вами разговаривать.
...
Рейтинг: 0 / 0
17.01.2021, 21:51
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036680
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
Что я хочу сейчас? - Проверить своё решение. Как?

Решить с битовыми масками.
...
Рейтинг: 0 / 0
18.01.2021, 04:53
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037146
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
mayton
Alex_Ustinov
mayton,

я так глубоко не полез, там вроде было нормальное обсуждение

Я не об этом. Пятничные топики часто носят характер развлекательных.
Трудовая неделя закончилась. Можно и отдохнуть. Это - давняя традиция которая возникла
на скруле еще задолго до того как я создал первый пятничный.

Возможно Милторг не имел в виду ничего серъезного. Но все так возбудились...
в этом подфоруме такого не бывает, вот и восприняли всерьез.
...
Рейтинг: 0 / 0
19.01.2021, 14:55
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037299
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Нас ждёт вторая серия. - Заказчик сказал, что лучшая проверка - это генерировать всё подряд и проверять на совпадения.

У него правда есть своя идея. - Отгенерированное класть не просто так, и не в базу, а в файлы по первому числу. - Сразу группировать единицы и пр.

Начинаю.
...
Рейтинг: 0 / 0
20.01.2021, 00:29
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037300
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Итак. Я вернулся в начало.
1 мысль:
Генерировать буквально по 1 строчке и сразу выдавать готовый результат.

2. Делать как сказал заказчик - ибо заказчик всегда прав.
...
Рейтинг: 0 / 0
20.01.2021, 00:32
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037315
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
У него правда есть своя идея. - Отгенерированное класть не просто так, и не в базу, а в файлы по первому числу. - Сразу группировать единицы и пр.

miltorg
Начинаю.

miltorg
2. Делать как сказал заказчик - ибо заказчик всегда прав.

...
Рейтинг: 0 / 0
20.01.2021, 04:03
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037468
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
Итак. Я вернулся в начало.
1 мысль:
Генерировать буквально по 1 строчке и сразу выдавать готовый результат.

2. Делать как сказал заказчик - ибо заказчик всегда прав.

Если заказчик просто хочет проверить формулу - то не обязательно генерить все 20 чисел. Может проверить на 5 штуках?
...
Рейтинг: 0 / 0
20.01.2021, 14:13
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037576
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
mayton,

это же монолог, ТС купил пивка и ему опять скучно...
...
Рейтинг: 0 / 0
20.01.2021, 18:27
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037612
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Я вот думаю, что что-то не так в моём переводе из 12 совпадений в 10

Лезут какие то дубликаты.

Что я делаю. Хоть я уже про это и писал.

Я последовательно удаляю по 1 цифре в 12 совпадений

Потом также последовательно удаляю цифры в полученных 11 совпадениях

А нужны ли они вообще эти цифры? Ведь я уже сравнивал эти все строки между собой.

Это тогда совсем упрощает задачу!
...
Рейтинг: 0 / 0
20.01.2021, 22:45
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037623
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Сегодня я достиг 5 миллионов записей и оно мне сказало:

авторtable is full

Странно. Я читал что у mySQL вроде как ограничений нет на число записей.
...
Рейтинг: 0 / 0
21.01.2021, 05:17
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037624
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg,

И это инженер с дипломом? Дилетант. Ему форум дал отличное решение с битсетом, бери, пользуйся на здоровье, но нет, не хочу, хочу жрать говно.
...
Рейтинг: 0 / 0
21.01.2021, 06:47
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037648
paver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paver
Гость
crutchmaster
miltorg,
Дилетант. Ему форум дал отличное решение с битсетом, бери, пользуйся на здоровье, но нет, не хочу...

Он его просто не понял. До сих пор.
...
Рейтинг: 0 / 0
21.01.2021, 10:28
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037717
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Если взять не 10 из 20, а 32 из 64 (регистр). То подсчет удачных комбинаций может затянуться.

Я не против битовых операций но КМК надо исследовать на временную сложность. Когда мы дойдем
до старших разрядов (62,63 биты) то пауза в ожидании следующей удачной комбинации затянется.

Хотелось-бы уйти от вращения битов в регистре и подойти ... ну со стороны неких прямых пермутаций.
...
Рейтинг: 0 / 0
21.01.2021, 16:37
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037809
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton,

Не понял. Зачем вращать биты в регистре?
...
Рейтинг: 0 / 0
22.01.2021, 05:56
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037813
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg,

Код: javascript
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
var src = `1.08.1966	5 7 8 15 22 23 27 34 37 39 40 41 43 44 50 55 57 58 62 70
2.08.1966	3 5 9 12 15 16 19 20 23 25 29 30 34 37 43 48 55 58 59 61
3.08.1966	2 3 5 12 15 21 23 24 26 28 36 37 38 39 50 53 55 59 66 68
4.08.1966	2 3 5 7 8 11 14 16 19 25 35 43 50 51 55 60 61 66 67 70
5.08.1966	2 8 11 12 14 17 18 20 21 28 36 43 50 53 55 56 59 62 64 66
6.08.1966	2 5 10 11 15 16 18 19 27 29 30 32 33 35 42 43 45 62 63 65
7.08.1966	5 6 7 8 16 21 27 30 39 46 49 50 51 53 54 58 62 64 68 70
8.08.1966	1 2 3 7 9 11 12 13 15 17 20 24 26 28 34 45 48 49 61 66
9.08.1966	7 8 12 13 14 21 23 24 27 28 30 38 40 49 50 52 53 54 63 68
10.08.1966	1 3 5 7 9 10 14 21 23 27 31 34 45 46 47 48 51 52 64 65
11.08.1966	1 5 6 7 9 11 14 17 29 30 33 36 37 39 42 43 48 50 64 65
12.08.1966	2 9 11 12 13 17 18 23 25 27 33 38 40 44 45 46 47 52 64 66
13.08.1966	1 5 6 11 14 16 17 20 22 23 25 26 31 41 44 47 56 59 64 70
14.08.1966	3 5 9 19 24 25 26 27 28 33 34 40 45 50 53 55 59 63 64 66
15.08.1966	3 6 8 11 13 19 23 25 28 32 33 34 37 41 50 54 56 57 59 65
16.08.1966	2 3 5 7 15 23 28 29 32 37 38 46 49 50 52 53 59 60 61 62
17.08.1966	1 5 7 9 11 16 18 20 22 25 26 35 45 46 47 51 56 67 68 70
18.08.1966	11 15 16 22 25 28 29 32 34 35 42 43 47 49 52 53 54 57 62 63
19.08.1966	8 9 15 17 26 30 31 35 37 38 41 42 44 50 52 58 60 64 66 69
20.08.1966	4 6 8 15 16 17 18 24 26 33 34 35 36 37 42 44 50 54 65 69
21.08.1966	5 7 8 15 22 23 27 34 37 39 40 42 44 45 46 47 52 64 66 69`

var bitCount = function(n) { //со стак оверфлоу
  n = n - ((n >> 1) & 0x55555555)
  n = (n & 0x33333333) + ((n >> 2) & 0x33333333)
  return ((n + (n >> 4) & 0xF0F0F0F) * 0x1010101) >> 24
}

var numToBit = [0] //место цифры в битсете
for (let i = 0; i < 32; i++) numToBit[i + 1] = 1 << i;

var data = src.split("\n").map(v=>{ //парсим исходные
    var [date, digs] = v.split("\t");
    digs = digs.split(" ").map(v=>+v); //кастим строки в числа
    var bits = [0, 0, 0, 0, 0, 0, 0, 0]; //По 4 байта на число, 32 цифры в числе. Их 8, шоб всем хватило 
    //(хватает и 3-х, самая большая цифра - 256. Надо больше, сделай больше)
    digs.forEach(v=>{
        var shift = Math.floor(v / 32); //элемент массива bits
        bits[shift] = bits[shift] | numToBit[v - shift * 32] //"Сдвигаем" число
    });
    return {date, digs, bits}
});

var res = [];

for (let i = 0; i < data.length - 1; i++) {
    for (let j = i + 1; j < data.length; j++) { //перебор всех со всеми
        var v1 = data[i], v2 = data[j];
        var hits = 0;
        for (let b = 0; b < 8; b++) {
            hits += bitCount(v1.bits[b] & v2.bits[b]); //считаем совпавшие биты (цифры)
        }
        if (hits >= 10) {
            res.push({set1 : v1, set2 : v2, hits}); // заполняем массив нужным
        }
    }
}

>> res.map(v=>([v.set1.date, v.set2.date, v.set1.digs, v.set2.digs, v.hits].join("  ")))
[
  '1.08.1966  21.08.1966  5,7,8,15,22,23,27,34,37,39,40,41,43,44,50,55,57,58,62,70  5,7,8,15,22,23,27,34,37,39,40,42,44,45,46,47,52,64,66,69  12',
  '3.08.1966  5.08.1966  2,3,5,12,15,21,23,24,26,28,36,37,38,39,50,53,55,59,66,68  2,8,11,12,14,17,18,20,21,28,36,43,50,53,55,56,59,62,64,66  10',
  '3.08.1966  14.08.1966  2,3,5,12,15,21,23,24,26,28,36,37,38,39,50,53,55,59,66,68  3,5,9,19,24,25,26,27,28,33,34,40,45,50,53,55,59,63,64,66  10',
  '3.08.1966  16.08.1966  2,3,5,12,15,21,23,24,26,28,36,37,38,39,50,53,55,59,66,68  2,3,5,7,15,23,28,29,32,37,38,46,49,50,52,53,59,60,61,62  11',
  '7.08.1966  9.08.1966  5,6,7,8,16,21,27,30,39,46,49,50,51,53,54,58,62,64,68,70  7,8,12,13,14,21,23,24,27,28,30,38,40,49,50,52,53,54,63,68  10',
  '13.08.1966  17.08.1966  1,5,6,11,14,16,17,20,22,23,25,26,31,41,44,47,56,59,64,70  1,5,7,9,11,16,18,20,22,25,26,35,45,46,47,51,56,67,68,70  11',
  '19.08.1966  20.08.1966  8,9,15,17,26,30,31,35,37,38,41,42,44,50,52,58,60,64,66,69  4,6,8,15,16,17,18,24,26,33,34,35,36,37,42,44,50,54,65,69  10'
]



Проверяй.
Наваял левой пяткой за 30 минут на сраном жс то, над чем ты тужишься уже две недели.
...
Рейтинг: 0 / 0
22.01.2021, 06:55
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037817
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
crutchmaster,

Можно было заюзать bigint вместо number и делать по 64 бита, но мне влом, да и время правки истекло.
...
Рейтинг: 0 / 0
22.01.2021, 07:09
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037828
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
crutchmaster,

Ребят, вы правда к 12 странице до сих пор не поняли задание?
Нужно сравнивать 10 цифр. 10!!!
И ответ по этим данным я уже публиковал.
...
Рейтинг: 0 / 0
22.01.2021, 09:19
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037830
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

вот он:

22264239
...
Рейтинг: 0 / 0
22.01.2021, 09:24
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037835
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

И не забывайте, что это не исходный файл - а это тестовый файл
В исходном файле 5000 строк, а не 10
...
Рейтинг: 0 / 0
22.01.2021, 09:27
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037840
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
А это что должно у вас получиться в конечном итоге из тестового файла:

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
+-----+-----------------------------+------------+------------+------+------+---------+-----+
| id  | d1                          | myData1    | myData2    | str1 | str2 | sovpalo | cnt |
+-----+-----------------------------+------------+------------+------+------+---------+-----+
|  15 | 5_7_15_22_23_27_34_37_39_40 | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  48 | 5_7_15_22_23_27_34_37_39_40 | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 101 | 5_7_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 192 | 5_7_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  23 | 5_7_8_15_22_23_27_34_37_39  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  56 | 5_7_8_15_22_23_27_34_37_39  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 189 | 5_7_8_15_22_23_27_34_37_39  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 200 | 5_7_8_15_22_23_27_34_37_39  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  22 | 5_7_8_15_22_23_27_34_37_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  55 | 5_7_8_15_22_23_27_34_37_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 178 | 5_7_8_15_22_23_27_34_37_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 199 | 5_7_8_15_22_23_27_34_37_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  21 | 5_7_8_15_22_23_27_34_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  54 | 5_7_8_15_22_23_27_34_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 167 | 5_7_8_15_22_23_27_34_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 198 | 5_7_8_15_22_23_27_34_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  20 | 5_7_8_15_22_23_27_37_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  53 | 5_7_8_15_22_23_27_37_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 156 | 5_7_8_15_22_23_27_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 197 | 5_7_8_15_22_23_27_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  19 | 5_7_8_15_22_23_34_37_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  52 | 5_7_8_15_22_23_34_37_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 145 | 5_7_8_15_22_23_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 196 | 5_7_8_15_22_23_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  18 | 5_7_8_15_22_27_34_37_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  51 | 5_7_8_15_22_27_34_37_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 134 | 5_7_8_15_22_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 195 | 5_7_8_15_22_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  17 | 5_7_8_15_23_27_34_37_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  50 | 5_7_8_15_23_27_34_37_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 123 | 5_7_8_15_23_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 194 | 5_7_8_15_23_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  16 | 5_7_8_22_23_27_34_37_39_40  | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  49 | 5_7_8_22_23_27_34_37_39_40  | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
| 112 | 5_7_8_22_23_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 193 | 5_7_8_22_23_27_34_37_39_40  | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  14 | 5_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  47 | 5_8_15_22_23_27_34_37_39_40 | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
|  90 | 5_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 191 | 5_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
|  13 | 7_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 22.08.1966 |    0 |   21 |      11 |   4 |
|  46 | 7_8_15_22_23_27_34_37_39_40 | 21.08.1966 | 22.08.1966 |   20 |   21 |      11 |   4 |
|  79 | 7_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
| 190 | 7_8_15_22_23_27_34_37_39_40 | 1.08.1966  | 21.08.1966 |    0 |   20 |      12 |   4 |
+-----+-----------------------------+------------+------------+------+------+---------+-----+
...
Рейтинг: 0 / 0
22.01.2021, 09:39
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037843
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
В конечном результате, перед сортировкой - больше 2 миллионов строк.
Так что всё это нужно писать в БД.
...
Рейтинг: 0 / 0
22.01.2021, 09:47
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037848
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
В конечном результате, перед сортировкой - больше 2 миллионов строк.

Напугал ежа голой жопой. Я на ноде крутил и больше.
miltorg
Так что всё это нужно писать в БД.

Тебе не нужно 2м строк. И сортировки делать не нужно. Коду, что выше это не нужно. Никому это не нужно. Закидываешь свои несчастные 5к строк (да хоть 10М, лишь бы RAM хватило) и вперёд. Если боишься выхлопа можешь сразу его писать в файл.
...
Рейтинг: 0 / 0
22.01.2021, 10:08
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037851
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg
В исходном файле 5000 строк, а не 10

Не сильно больше.
А это что должно у вас получиться в конечном итоге из тестового файла:
А дублировать строки обязательно?
miltorg
Нужно сравнивать 10 цифр. 10!!!

До тебя не доходит, что всё, что больше 10 - это уже и есть решение? Тебе как маленькому надо сделать перестановочки и получить файлик, как у тебя 1 в 1, чтобы начало доходить?
Кстати, посмотри вот на это:
Код: sql
1.
 '19.08.1966  20.08.1966  8,9,15,17,26,30,31,35,37,38,41,42,44,50,52,58,60,64,66,69  4,6,8,15,16,17,18,24,26,33,34,35,36,37,42,44,50,54,65,69  10'


Тут 10 совпадений. Где у тебя пара 19.08.1966 и 20.08.1966 в результате? Походу ты обосрался со своим кодом.

Вот твои исходные данные, если забыл.
22264235
Циферки сам посчитаешь руками.
...
Рейтинг: 0 / 0
22.01.2021, 10:16
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40037854
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
miltorg,

Код: sql
1.
22.08.1966


А где 22.08 в исходниках? Что-то его там нету.
...
Рейтинг: 0 / 0
22.01.2021, 10:21
| Ответить | Цитировать | Написать  
25 сообщений из 336, страница 11 из 14
  11  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40037835&tid=1828220]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 47ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 14ms
total:  156ms
созд. / загр.: 156ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]