ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
25 сообщений из 471, страница 7 из 19
  7  все
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041970
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
H5N1

причем посчиталось быстрее, за 25 минут


у меня загдушка для хадупа была версии 2.4, проапгрейдил "хадуп" до 2.7 по 6 комбинаций быстрее чем за 10 минут посчиталось. 2 ключа в 7 сроках нашлось:

cat part-r-0000* | grep "7 /"
Код: plaintext
1.
[20, 42, 45, 65, 71, 81]        7 /61;20;11;37;70;65;71;78;85;18;63;33;45;6;81;71;42;25;59;84; /41;45;74;81;71;44;42;21;58;79;83;7;65;73;67;64;40;56;20;52; /71;45;8;88;42;88;19;1;65;81;76;88;15;16;15;2;49;22;20;70; /80;49;1;31;45;5;21;47;51;49;4;65;5;20;4;71;57;81;42;64; /75;65;43;45;81;74;71;70;33;5;22;17;54;10;35;20;45;24;74;42; /24;27;81;45;79;42;71;20;52;84;24;65;2;76;39;8;67;12;13;33; /13;1;27;42;20;22;66;21;2;85;71;72;35;87;8;65;81;45;53;32;
[10, 13, 37, 45, 69, 71]        7 /10;68;84;37;59;45;68;13;69;4;12;7;31;66;75;71;80;71;29;8; /71;78;69;78;30;45;16;2;5;44;2;81;55;32;21;40;10;13;77;37; /27;16;63;52;29;10;49;13;37;41;55;80;71;38;45;7;69;31;87;36; /39;8;11;40;31;30;75;71;69;45;31;37;13;16;10;85;57;23;80;54; /54;87;13;71;45;52;53;85;62;71;65;69;14;18;10;22;37;33;70;47; /52;87;18;45;41;33;71;29;58;10;69;14;79;61;77;37;88;17;61;13; /69;71;37;15;42;13;47;20;35;37;30;48;75;45;83;16;20;10;6;33;
...
Рейтинг: 0 / 0
05.02.2021, 10:21
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042004
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Блин. Я неповтор не учёл. Много его там?
Он на что-то влияет? Надо подумать или проще почистить?
...
Рейтинг: 0 / 0
05.02.2021, 11:22
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042007
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Повторю ещё раз.

Решение задачи - номера строк где есть максимальные повторы 10 комбинаций

То есть это буквально максимум 20 строк.
...
Рейтинг: 0 / 0
05.02.2021, 11:26
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042025
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
Alex_Ustinov,

Блин. Я неповтор не учёл. Много его там?
Он на что-то влияет? Надо подумать или проще почистить?

В принципе он ни на что не влияет. Тебе надо просто посмотреть были ли повторы в исходных
файлах от заказчика. И если не было - то генерацию рандомных файлов надо сделать более
качественной.

Еще может влиять на наши статистические оценки. Это как испорченные лотерейные билеты.
...
Рейтинг: 0 / 0
05.02.2021, 11:58
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042040
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
H5N1
H5N1

зы. а куда можно файлик с результатми выложить, он хоть не по формату, но с выводом строк где найдены комбинации ?

сюда получилось выложить
https://filebin.net/ugpm5w22ble5p5lt/miltorgout.zip?t=l9n8ljne

запущу теперь по 9 комбинаций.


Что это? Это точно не решение.
Секунду. Я сейчас подправлю исходный файл.
...
Рейтинг: 0 / 0
05.02.2021, 12:21
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042042
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
mayton,

по одной-две пары совпадений.
Исходный набор превращается в 18-19 чисел вместо 20-ти
ни на что не влияет кроме время выполнения, если вы тестируете время.
авторНадо подумать или проще почистить?проще почистить, не понимаю почему вы этого не сделали.
не надо впахивать оппонента ради вашей задачи.
Если ранее давались упорядоченные наборы неповторяющихся чисел, то этот набор с повторяющимися, что меняет логику.
...
Рейтинг: 0 / 0
05.02.2021, 12:25
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042053
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Новый исходный файл. Повторы пока не убрал.
...
Рейтинг: 0 / 0
05.02.2021, 12:35
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042061
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Если кто то забыл за месяц:

Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать.

Пример ответа:

1_2_3_4_5_6_7_8_9_10 ------ есть в 105, 200, 500, 5000 строках ------- 4 строки совпадения
2_3_4_5_6_7_8_9_10_11 ------ есть в 15, 20, 50 строках ------- 3 строки совпадения
...
Рейтинг: 0 / 0
05.02.2021, 12:43
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042078
zyubr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zyubr
Гость
изучаю python, вот вам на нем генерилка и файл после нее :)

Код: python
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
import sys,datetime
from random import sample

size = 5000; nmin = 1; nmax = 79

if len(sys.argv) > 1:
	name = sys.argv[1]
else:
	name = 'miltbase.txt'

startday = datetime.date.today() + datetime.timedelta(days=1-size)

with open(name, 'w') as F1:
	for i in range(size):
		s = ''
		day = startday + datetime.timedelta(days=i)
		s += day.strftime('%d.%m.%Y') + '\t'
		s += ' '.join(str(x) for x in sorted(sample(range(nmin,nmax+1),20))) + '\n'
		F1.write(s)
...
Рейтинг: 0 / 0
05.02.2021, 13:13
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042099
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
zyubr,

Что это? Исходный Файл с неповторяющимися цифрами в строках?
...
Рейтинг: 0 / 0
05.02.2021, 13:42
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042103
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
Если кто то забыл за месяц:

Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать.

Пример ответа:

1_2_3_4_5_6_7_8_9_10 ------ есть в 105, 200, 500, 5000 строках ------- 4 строки совпадения
2_3_4_5_6_7_8_9_10_11 ------ есть в 15, 20, 50 строках ------- 3 строки совпадения

Протокол работы моей утилиты с 12-циферными совпадениями был верный?
...
Рейтинг: 0 / 0
05.02.2021, 13:48
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042104
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
файл мне нравится - он гораздо более похож на исходный клиента. Если нет повторов в строках. Их там нет?

В любом случае - я сейчас с ним подшаманю и мы возьмём его за основу

Спасибо Вам большое.
...
Рейтинг: 0 / 0
05.02.2021, 13:49
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042106
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

Я и не проверял.
Нужно было проверять?
Вы там кричали про какие то миллионы - Я решил что вы выпили.
...
Рейтинг: 0 / 0
05.02.2021, 13:50
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042108
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
mayton,

Я и не проверял.
Нужно было проверять?
Вы там кричали про какие то миллионы - Я решил что вы выпили.

Вечерочком я опрокидываю ликеры и настойки. Есть такое дело. Лечусь.

Но я тебе разработал софт. Он работает. Работает быстро. А ты - даже проигнорировал проверить результат?
...
Рейтинг: 0 / 0
05.02.2021, 13:52
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042114
zyubr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zyubr
Гость
miltorg
файл мне нравится - он гораздо более похож на исходный клиента. Если нет повторов в строках. Их там нет?


вроде как, не должно :)

Python’s random module provides random.sample() function for random sampling and randomly pick more than one element from the list without repeating elements .
...
Рейтинг: 0 / 0
05.02.2021, 13:56
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042117
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Ура. Есть новый, идентичный исходному файл:
...
Рейтинг: 0 / 0
05.02.2021, 14:04
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042121
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton
miltorg
mayton,

Я и не проверял.
Нужно было проверять?
Вы там кричали про какие то миллионы - Я решил что вы выпили.

Вечерочком я опрокидываю ликеры и настойки. Есть такое дело. Лечусь.

Но я тебе разработал софт. Он работает. Работает быстро. А ты - даже проигнорировал проверить результат?


Вот видете.
Сейчас чего от меня хотите?
1. Что бы я проверил ваши совпадения?
или вам нужны восторги?

Восторгаюсь.

Но повторю. Мне нужно решение задачи или алгоритм.
...
Рейтинг: 0 / 0
05.02.2021, 14:09
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042124
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg
Ура. Есть новый, идентичный исходному файл:


Работать желательно с ним и только с ним.
...
Рейтинг: 0 / 0
05.02.2021, 14:11
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042125
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
mayton
пропущено...

Вечерочком я опрокидываю ликеры и настойки. Есть такое дело. Лечусь.

Но я тебе разработал софт. Он работает. Работает быстро. А ты - даже проигнорировал проверить результат?


Вот видете.
Сейчас чего от меня хотите?
1. Что бы я проверил ваши совпадения?
или вам нужны восторги?

Восторгаюсь.

Но повторю. Мне нужно решение задачи или алгоритм.


Вот ты вредный... Яж тестирую. Я твои тестовый строки с 10 цифрами выбросил. Так как нашел сверх-покрытие. С 12
цифрами. И прошу тебя проверить результат по протоколу работы моей программы. Которая написана на pure Java
без всяких хадупов и ничего больше не требует.
...
Рейтинг: 0 / 0
05.02.2021, 14:12
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042126
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
интересная генерация, на 1-й позиции практически 95% числа 1..9 а на последней все меньше 80
...
Рейтинг: 0 / 0
05.02.2021, 14:12
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042127
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

Сейчас новый исходный файл.
Он точная копия исходного в задании.
Работайте пожалуйста с ним - тогда работа имеет хоть какой то смысл.

22275586
...
Рейтинг: 0 / 0
05.02.2021, 14:14
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042128
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Капец ты умеешь демотивировать....
...
Рейтинг: 0 / 0
05.02.2021, 14:15
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042130
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

А что мне демативировать-недемативировать

Я даже написал что готов деньги заплатить если смогу продать клиенту ваше решение.

Но нужно чтоб клиент это купил.

А купит он решение только в том виде котором ОН хочет - вид этого решения я написал уже 500 раз.
...
Рейтинг: 0 / 0
05.02.2021, 14:19
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042134
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
А ты про деньги... Ну это мне не интересно. Я в этом форуме не ради денег. Я тут вообще ни цента ни заработал.

Думал Вискарь с тобой попить да и то не вышло. А программу я тебе подарю. Просто я хочу ее до зеленого сегмента
теста довести.
...
Рейтинг: 0 / 0
05.02.2021, 14:23
| Ответить | Цитировать | Написать  
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40042135
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Первые 20 строк из сделанные из нового файла:

1 13_15_17_29_31_32_34_38_51_60_76 0-24 11
2 13_14_15_17_21_26_29_31_34_40_51 0-268 11
3 13_14_15_26_38_40_51_60_67_76 0-346 10
4 15_29_32_34_39_42_44_51_60_63_67 0-372 11
5 17_21_26_31_34_40_42_60_63_67 0-397 10
6 14_15_17_21_29_34_38_40_51_63_67 0-497 11
7 26_32_38_40_42_44_51_63_67_76 0-855 10
8 13_17_21_26_29_31_32_34_60_67_76 0-1012 11
9 13_14_15_21_26_29_38_42_44_51_60_63_76 0-1036 13
10 14_17_26_29_31_34_38_42_63_76 0-1349 10
11 17_21_26_31_32_38_39_51_60_76 0-2191 10
12 14_15_17_26_34_38_40_44_51_63 0-2438 10
13 14_15_21_34_38_39_40_42_51_67 0-2449 10
14 13_14_15_26_32_39_40_42_60_63 0-2586 10
15 13_15_17_21_31_32_34_39_60_76 0-2724 10
16 13_14_15_17_26_44_51_63_67_76 0-2738 10
17 13_21_29_31_32_38_39_42_63_67 0-2936 10
18 13_17_29_31_38_39_40_42_44_60 0-3166 10
19 13_14_29_31_32_34_38_44_63_76 0-3250 10
20 13_15_17_21_29_31_32_44_60_63_76 0-3562 11
...
Рейтинг: 0 / 0
05.02.2021, 14:27
| Ответить | Цитировать | Написать  
25 сообщений из 471, страница 7 из 19
  7  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=40042061&tid=1828188]:
 0ms
get settings:
 12ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 160ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 14ms
total:  283ms
созд. / загр.: 283ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]