ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
25 сообщений из 336, страница 9 из 14
  9  все
Как отсортировать 1 миллиард записей?
    #40036500
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Единственное что мне сейчас не понятно - как это всё проверить?
...
Рейтинг: 0 / 0
17.01.2021, 03:23
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036501
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Люди упорно не видят исходное задание. В исходном задании 20 чисел. 20!
Примеры меньше двух строк по 20! чисел - даже смотреть не буду.

Вот минимально сокращённо-урезанное задание

Код: sql
1.
2.
1.08.1966	5 7 8 15 22 23 27 34 37 39 40 41 43 44 50 55 57 58 62 70
21.08.1966	5 7 8 15 22 23 27 34 37 39 40 42 44 45 46 47 52 64 66 69
...
Рейтинг: 0 / 0
17.01.2021, 03:28
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036502
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
и что проверять в этих двух строчках?
13 вхождений
ссылка https://dbfiddle.uk/?rdbms=mysql_8.0&fiddle=6c3ff9e5db126e4f0a55549e161f9004
...
Рейтинг: 0 / 0
17.01.2021, 03:53
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036503
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg,

во второй строке изменено число 41 на 42 после моего копирования
получаем 12 совпадений
решение https://dbfiddle.uk/?rdbms=mysql_8.0&fiddle=aa592d82eff9bb9a198191c602ba2011
...
Рейтинг: 0 / 0
17.01.2021, 04:17
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036505
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Отлично. У меня такой же результат:

22264236

Первая строка.
...
Рейтинг: 0 / 0
17.01.2021, 04:37
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036506
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Я не делал никаких двоичных преобразований. Просто использовал специальную функцию поиска дубликатов в массивах.
...
Рейтинг: 0 / 0
17.01.2021, 04:39
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036507
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Итак. Мы имеем 12 совпадений. Строку:...

Стоп. Но у вас даже нет строки совпадений??? d1 у меня в таблице

Нету. Не вижу.
...
Рейтинг: 0 / 0
17.01.2021, 04:43
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036508
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
Я не использовал специальную функцию поиска дубликатов в массивах. Как и сами массивы с упорядочением и сортировкой миллиарда строк

используется стандартная функция побитового сравнения И + подсчет совпадающих битов.
Если вам необходима строка вхождения - доделайте. Всего лишь дописать ф-ю перевода позиции совпадающих битов в десятичное представление. Ссылки на решение выше.
Стоп!
у вас же даты не в формате MySQL..... так работать не может...
Покажите каким запросом вы это получаете?
...
Рейтинг: 0 / 0
17.01.2021, 05:24
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036510
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Всё доделано и всё работает. И все всё давно уже поняли. Кроме вас.
Я с вами разговариваю только потому, что мне нужно чтоб кто то проверил алгоритм моих расчётов.
Но вы зациклились на поиске дубликатов строк.
Поиск дубликатов строк не вызывает и не вызывал никаких проблем
...
Рейтинг: 0 / 0
17.01.2021, 06:25
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036511
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Строка вхождения - это и есть цель, решение задачи.
Только строка вхождения 10 из 20, а не 12 из 20 - но этого вы уже 2 страницы - не можете понять.
...
Рейтинг: 0 / 0
17.01.2021, 06:28
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036512
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

авторДаты не в том формате...

Это не даты - это строки из исходного файла означающие дату. Заказчик захотел чтоб эти строки оставались неизменными.
...
Рейтинг: 0 / 0
17.01.2021, 07:18
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036515
paver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paver
Гость
miltorg

Всё доделано и всё работает. И все всё давно уже поняли. Кроме вас.
Я с вами разговариваю только потому, что мне нужно чтоб кто то проверил алгоритм моих расчётов.
Но вы зациклились на поиске дубликатов строк.
Поиск дубликатов строк не вызывает и не вызывал никаких проблем

1. Все давно поняли, что вы так и не поняли суть предлагаемого вам решения.
2. Ваш алгоритм невозможно проверить ввиду отсутствия его описания
3. Ввиду пункта 1 вы так и не поняли, что никто не предлагает искать дубликаты. Даже слова такого никто не написал.
...
Рейтинг: 0 / 0
17.01.2021, 08:13
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036517
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
paver,

вместо "дубликатов строк" - следует читать: "число вхождений в строку".

Вы правда это сразу не поняли?
Всё. про "вхождения" - я заканчиваю - зря я ковырнул это - ведь видел, что люди совсем не о том разговаривают между собой.
...
Рейтинг: 0 / 0
17.01.2021, 08:59
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036518
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
paver,

вместо "дубликатов строк" - следует читать: "дубликатов чисел "

Вы правда это сразу не поняли?
Всё. про "вхождения" - я заканчиваю - зря я ковырнул это - ведь видел, что люди совсем не о том разговаривают между собой.
...
Рейтинг: 0 / 0
17.01.2021, 09:02
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036519
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
вместо "дубликатов строк" - следует читать: "число вхождений в строку".
тебе и показали
paver
Количество совпавших чисел (т.е. количество 1 в результирующей строке) получаете с помощью BIT_COUNT()
BIT_COUNT(b'101001001' & b'001001110') = 2

твой метод на перле будет работать, вот только скорость работы намного медленнее
ты сравниваешь строковые значения , а это медленная операция
...
Рейтинг: 0 / 0
17.01.2021, 09:16
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036557
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
вадя,

Почему строковые? Битовые операции будут на порядок (если не два порядка) быстрее, чем поэлементное сравнение двух массивов.
...
Рейтинг: 0 / 0
17.01.2021, 15:08
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036558
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Ares_ekb
Почему строковые? Битовые операции будут на порядок (если не два порядка) быстрее, чем поэлементное сравнение двух массивов.
дак я о методе ТС
...
Рейтинг: 0 / 0
17.01.2021, 15:14
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036559
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя,

Там изначально 5 тысяч строк в файле. 5 тысяч.
Пишу в 10-й раз. Нет тут проблемы. Нету.

Зачем вы её ищите на ровном месте - мне не понятно.
...
Рейтинг: 0 / 0
17.01.2021, 15:17
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036560
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
вадя,

дело не в строковых значениях, дело в том что он ДЛЯ КАЖДОЙ ИЗ 5000 строк строит по комбинаторике всевозможные сочетания 10 чисел из 20
3. затем ищет совпадения GROUP BY + HAVING COUNT()>1 (ну может и не так, может циклует через массивы)
...
Рейтинг: 0 / 0
17.01.2021, 15:18
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036561
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Нет. НЕ так
...
Рейтинг: 0 / 0
17.01.2021, 15:21
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036562
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

1. Первоначально я ищу количество совпадений больше 9
2. Перерабатываю 11 совпадений в 10
3. Перерабатываю 12 совпадений в 11, а потом в 10.
4. 13 совпадений пока нет, но может и появиться.
5. Сортировка.
...
Рейтинг: 0 / 0
17.01.2021, 15:25
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036563
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg
Alex_Ustinov,

Всё доделано и всё работает. И все всё давно уже поняли. Кроме вас.
Я с вами разговариваю только потому, что мне нужно чтоб кто то проверил алгоритм моих расчётов.
Но вы зациклились на поиске дубликатов строк.
Поиск дубликатов строк не вызывает и не вызывал никаких проблем
я не искал дубликатов строк, я искал совпадения чисел в строках.
Решение вам показано по ссылкам.
Осталось дописать функцию перевода позиций "единичек" в десятичный формат.
BIT_COUNT() считает количество, а вам нужны позиции.
Сделайте хоть что-то сами.

BIT_COUNT() = N
N - количество необходимых совпадений
Все очень просто.
Не надо "перерисовывать" (12 в 11) (12 в 10) (9 в 10) или как там у вас

Я с вами разговариваЛ только потому, что мне не спалось. И не думал что вы просто специально тупите.

Сделайте второй вариант как вам подсказали и проверяйте своё секретное решение с массивами.
Ссылки даны. Смотрю на ваш жаргон и думаю что никто вам помогать особо не будет.
...
Рейтинг: 0 / 0
17.01.2021, 15:39
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036572
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
miltorg
1. Первоначально я ищу количество совпадений больше 9
ты ищешь в строковых значениях - в этом тормоза
...
Рейтинг: 0 / 0
17.01.2021, 16:23
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036575
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
 
воскресные ПЕРЛЫ буквально с 2-х посл страниц
У меня практически есть полный код. Вчера я обработал случай при 11 совпадениях в строках. Сегодня обработаю 12 совпадений.
13 совпадений вроде не было вообще.
А у вас нет кода.
Код предоставить не могу. Я ведь его за деньги писал - значит нужно разрешение.

Мне нужно решить задачу, а не искать изыски.
Но это, изначально решение - не про то - вызвало тут кучу восторгов.
Единственное что мне сейчас не понятно - как это всё проверить?

Всё доделано и всё работает. И все всё давно уже поняли. Кроме вас.
Единственное что мне сейчас не понятно - как это всё проверить?
Примеры меньше двух строк по 20! чисел - даже смотреть не буду.

во второй строке изменено число 41 на 42 ...
получаем 12 совпадений....Итак. Мы имеем 12 совпадений. Отлично. У меня такой же результат:
Но вы зациклились на поиске дубликатов строк.
У меня такое ощущение, что вы пытаетесь рассказать о том, как находить совпадения в 2 строках!

вот вам решение...вот ссылка
BIT_COUNT() = N
N - количество необходимых совпадений.....
Только строка вхождения 10 из 20, а не 12 из 20 - но этого вы уже 2 страницы - не можете понять.
Свой код предоставить не могу. Я ведь его за деньги писал - значит нужно разрешение.
...
Рейтинг: 0 / 0
17.01.2021, 16:46
| Ответить | Цитировать | Написать  
Как отсортировать 1 миллиард записей?
    #40036577
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Alex_Ustinov, этот топик создан в пятницу.
...
Рейтинг: 0 / 0
17.01.2021, 16:51
| Ответить | Цитировать | Написать  
25 сообщений из 336, страница 9 из 14
  9  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как отсортировать 1 миллиард записей?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40036519&tid=1828220]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 45ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 1ms
others: 246ms
total:  393ms
созд. / загр.: 393ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]