powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
25 сообщений из 471, страница 5 из 19
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041586
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Это технология Apache Hadoop. https://hadoop.apache.org/
По развертыванию локально можно поискать - но она неэффективна на single node.

вроде в ветке жава ты адекватное впечатление создавал, нафига такую ерунду пороть ? hadoop это идеология массивно параллельной обработки, есть множество задач где она эффективна и на одной ноде. вот собственно задача этого топика, яркий тому пример.
задача прекрасно ложится на map-reduce и фиг кто-то на ноутбуке обгонит хадуп.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041589
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,

Вот есть я. И есть мой ноутбук.
Я готов выполнять ваши команды.
Помогите пожалуйста.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041590
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сейчас уже есть 2 таблицы - 10 цифр и 9 цифр - совпадений.
10 цифр - это очень быстро считалось - за сутки
Как раз всё проверим.

У меня Убунту и Виндос.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041591
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
нужно обсчитать ещё 8, 7 и 6 совпадений.

Плиииз.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041604
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg

Блин. Печально что не компелируется...
Я почему то подумал что это всё получится.
Даже не знаю что делать.

Ведь нужно обсчитать ещё 8 совпадений, 7 и 6

Пойду считать своим методом.

я видел пару твоих топиков, жава да, ты не поднимешь. советую пилить на перле то, что я выше расписал.
что бы запустить мой код, нужно распоковать hadoop бинарники для винды, отсюда https://github.com/steveloughran/winutils прописать переменную HADOOP_HOME , вытрясти из меня еще один класс, Tool который запускает мои маперы и редюсеры, собрать maven проект, а это значит прописать в pom.xml библиотеки хадупа. я этот код в свой рабочий проект добавил где все либы в pom.xml уже есть.

вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041607
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
mayton

Это технология Apache Hadoop. https://hadoop.apache.org/
По развертыванию локально можно поискать - но она неэффективна на single node.

вроде в ветке жава ты адекватное впечатление создавал, нафига такую ерунду пороть ? hadoop это идеология массивно параллельной обработки, есть множество задач где она эффективна и на одной ноде. вот собственно задача этого топика, яркий тому пример.
задача прекрасно ложится на map-reduce и фиг кто-то на ноутбуке обгонит хадуп.

Я-же тебе писал выше что ты оказал автору "медвежью услугу".
Эксперт в бигдатах? - Давай консультируй его как все установить
и использовать.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041608
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно

:рука-лицо:

Ты профиль автора вообще смотрел? Он - Perl разработчик.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041611
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
miltorg

Блин. Печально что не компелируется...
Я почему то подумал что это всё получится.
Даже не знаю что делать.

Ведь нужно обсчитать ещё 8 совпадений, 7 и 6

Пойду считать своим методом.

я видел пару твоих топиков, жава да, ты не поднимешь. советую пилить на перле то, что я выше расписал.
что бы запустить мой код, нужно распоковать hadoop бинарники для винды, отсюда https://github.com/steveloughran/winutils прописать переменную HADOOP_HOME , вытрясти из меня еще один класс, Tool который запускает мои маперы и редюсеры, собрать maven проект, а это значит прописать в pom.xml библиотеки хадупа. я этот код в свой рабочий проект добавил где все либы в pom.xml уже есть.

вобщем для жава джуна это посильная задача, но в тебе я че-то сомневаюсь. я вечером могу проект собрать, но очевидно что ты его поддерживать не сможешь. думаю скриптик на перле в твоем случае более перспективно


Поддерживать это всё должен Пользователь-Юзер. Даже не я.
Замечательное вы предложили решение - к нему просто нужен дополнительный отдел программистов :-)
А так - всё просто.
А вот вопрос - быстро или нет?
Мне жутко интересно:

1. Исходный файл дать не могу - не моё.
2. Можно ведь сгенерировать файл в 5 тысяч записей
3. Обсчёт моим методом занимает - около суток.

За сколько справиться ваш метод?

Сейчас сгенерирую файл.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041623
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg

Сейчас сгенерирую файл.


Давай. Сгенерируй. Сделаем на синтетических данных.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041632
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg,

С генерировал:

http://prohorov-andrej.ru/u.txt
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041634
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блин. Мог-бы сархивировать.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041637
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если кто то забыл за месяц:

Ищем номера строк с максимальным числом 10-циферных совпадений - которое тоже нужно указать.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041639
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пример ответа:

1_2_3_4_5_6_7_8_9_10 ------ есть в 105, 200, 500, 5000 строках ------- 4 строки совпадения
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041642
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так тут 5 тыщ только. Неинтересно. Я думал 600 тыщ будет или мильярд.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041660
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

В настоящем исходном файле - 5 тысяч строк.
Вы правда за месяц это никак не поняли?
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041663
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg,

600 тысяч - это первая таблица совпадений после сравнения каждой строки с каждой.
для 9 цифр

Для 10 цифр - 200 тысяч совпадений.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041676
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ох от тебя ТЗ получать... Без бутылки все равно непонятно
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041677
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg

Поддерживать это всё должен Пользователь-Юзер. Даже не я.
Замечательное вы предложили решение - к нему просто нужен дополнительный отдел программистов :-)
А так - всё просто.
А вот вопрос - быстро или нет?
Мне жутко интересно:

1. Исходный файл дать не могу - не моё.
2. Можно ведь сгенерировать файл в 5 тысяч записей
3. Обсчёт моим методом занимает - около суток.

За сколько справиться ваш метод?

Сейчас сгенерирую файл.


гуд. вечером тогда научу номер строки вытягивать и запущу ... мерятся я люблю.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041678
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пока я, как высокооплачеваемый программист, намазывал чёрный хлеб растительным маслом...:

1. Все мои скрипты делают одно и тоже - сравнение и запись в БД
2. Значит оптимизацию можно начинать практически с первого сравнения.

Сейчас вам всё напишу.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041681
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
кроме того, это реально оплачиваемое задание - я возьму как посредник - 1 евро в час
И я давал клиенту ссылку на этот форум.
Если вы выдадите результаты на 6,7,8,9 быстро - я обязательно про вас напишу клиенту - мне тоже не интересно сидеть неделями с включённой программой.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041684
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,

Есть одно но. Не знаю прочитали вы про это или нет - эти то таблицы - на один раз, Но! данные будут пополняться
И всё должно работать с полной базой , и не отделом программистов, а желательно вообще - само собой на машине удалённого Юзера.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041702
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miltorg
Пока я, как высокооплачеваемый программист, намазывал чёрный хлеб растительным маслом...:

1. Все мои скрипты делают одно и тоже - сравнение и запись в БД
2. Значит оптимизацию можно начинать практически с первого сравнения.

Сейчас вам всё напишу.


Итак. Первый скрипт вытаскивает всё из исходного файла:

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
#!/usr/bin/perl

require "./baza.pl";

$dbh->do("SET autocommit=0");


$ot = '.';
$isx = 'k13_3.txt'; # -------- 5000 strok
$tabBD = 'n8n1';
$sovpadenij = 8; # Уже ищу по 8 


$dbh->do("DROP TABLE $tabBD");

$dbh->do("CREATE TABLE $tabBD
(
id int(11) PRIMARY KEY auto_increment,
d1 VARCHAR(100),
myData1 VARCHAR(12),
myData2 VARCHAR(12),
str1 int(7),
str2 int(7),
sovpalo int(3)
)");



open D, "$ot/$isx";
@u = <D>;
close D;

$kolStr = $#u;


for $str (0..$kolStr){
  
  $str =~ s/[\r\n]//g;
  
  #print $u[$str];
  print $str;
	
	($d, $dn) = split (/\t/, $u[$str]);

  
  #print $dn."\n";

@a = split /\s/, $dn;



for $str2 ($str+1 .. $kolStr){

  next if $str2==$str;
  #print "$str2\n";
  @b = (); %isect = (); %inion = ();


  $str2 =~ s/[\r\n]//g;
	
	($d2, $dn2) = split (/\t/, $u[$str2]);


@b = split /\s/, $dn2;

#print @a;print "\n";
#print @b;print "\n";

for $e (@a, @b) {$inion{$e}++ && $isect{$e}++;}

@isect = keys %isect;

$is = scalar(@isect);

if($is >= $sovpadenij){
  #print "$u[$str]\n";
  #print "$u[$str2]\n";

$r = join('_', sort {$a<=>$b} @isect );

  
$dbh->do("INSERT INTO $tabBD VALUES (null, '$r', '$d', '$d2', $str, $str2, $is)");


}}

print "\n";
}

$dbh->do("COMMIT");
$dbh->disconnect;
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041705
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Попробуй так
miltorg

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
$dbh->do("CREATE TABLE $tabBD
(
id int(11) PRIMARY KEY auto_increment,
d1 VARCHAR(100),
myData1 VARCHAR(12),
myData2 VARCHAR(12),
str1 int(7),
str2 int(7),
sovpalo int(3)
) ENGINE = MYISAM;");




Inserts должны ускорится.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041706
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
miltorg
Моя программа закончила считать этой ночью. Я даже не знаю - сколько дней это длилось.

Индексы строил? Explain смотрел? Движок на MyIsam менял? (По умолчанию МайСКЛ создает InnoDB).


Индексы тут пока строить вроде не на чем и не за чем - пока идёт просто заполнение.
У меня такое ощущение что файл вместо БД заполнялся быстрее.
Будем проверять.
...
Рейтинг: 0 / 0
Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
    #40041708
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

Спасибо огромное
Сейчас проверю на сотне строк.
...
Рейтинг: 0 / 0
25 сообщений из 471, страница 5 из 19
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Считает слишком долго. Уже 2 сутки. Как оптимизировать скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]