ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / 6 часов считает. Как оптимизировать?
10 сообщений из 35, страница 2 из 2
  2  все
6 часов считает. Как оптимизировать?
    #40044991
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Alex_Ustinov,

Код: sql
1.
2.
3.
CREATE TABLE test ENGINE=MEMORY
           (SELECT ip,SUM(downloads) AS down
           FROM log_table GROUP BY ip);


так тоже можно
...
Рейтинг: 0 / 0
12.02.2021, 22:02
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40044995
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
Alex_Ustinov,

Так сработало. Спасибо.
...
Рейтинг: 0 / 0
12.02.2021, 22:08
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40044996
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
crutchmaster,

The maximum size of MEMORY tables is limited by the max_heap_table_size system variable, which has a default value of 16MB. To enforce different size limits for MEMORY tables, change the value of this variable. The value in effect for CREATE TABLE, or a subsequent ALTER TABLE or TRUNCATE TABLE, is the value used for the life of the table. A server restart also sets the maximum size of existing MEMORY tables to the global max_heap_table_size value. You can set the size for individual tables as described later in this section.
...
Рейтинг: 0 / 0
12.02.2021, 22:09
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40044998
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
вадя
miltorg
Но мне нужна таблица.
так сделай таблицу inmemory


Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
mysql> DROP TABLE IF EXISTS t34;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> CREATE TABLE t34 ENGINE=MEMORY
    -> 
    -> select t20.id as id1,  t21.id as id2,
    -> 
    -> MAKE_SET (t20.str_bit1 & t21.str_bit1,
    -> 50,49,48,47,46,45,44,43,42,41,40,39,38,37,36,35,34,33,32,
    -> 31,30,29,28,27,26,25,24,23,22,21,20,19,18,17,16,15,14,13,12,11,10,9,8,7,6,5,4,3,2,1) as u1,
    -> 
    -> MAKE_SET (t20.str_bit2 & t21.str_bit2,
    -> 99,98,97,96,95,94,93,92,91,90,89,88,87,86,85,84,83,82,81,80,79,78,77,76,75,74,73,72,71,
    -> 70,69,68,67,66,65,64,63,62,61,60,59,58,57,56,55,54,53,52,51) as u,
    -> 
    -> BIT_COUNT(t20.str_bit1 & t21.str_bit1)+BIT_COUNT(t20.str_bit2 & t21.str_bit2) as XXX,
    -> 
    -> t20.idold, t20.XXX as XXXold
    -> 
    -> from t20 join t20 as t21
    -> where  t20.id<t21.id
    -> AND BIT_COUNT(t20.str_bit1 & t21.str_bit1)+BIT_COUNT(t20.str_bit2 & t21.str_bit2) >= 10
    -> 
    -> limit 2;
Query OK, 2 rows affected (35.04 sec)
Records: 2  Duplicates: 0  Warnings: 0

mysql>



На 10 секунд дольше.
...
Рейтинг: 0 / 0
12.02.2021, 22:14
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40044999
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Есть у меня серьёзное подозрение, что на более мощном железе - моя проблема и не возникла - была бы решена на Перле - как в первой теме - сравнением массивов на Перле - за сутки.
...
Рейтинг: 0 / 0
12.02.2021, 22:18
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40045009
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
miltorg,

такое серьёзное подозрение, что вообще непонятно что делается

зачем 2-строки писать в MeMORY таблицу? (еще 55 знаков вопроса)

--
t20 должна быть в MEMORY чтобы сравнивать скорость
выше упомянули что на MEMORY по умолчанию выделяется 16М памяти.
перед созданием таблицы MEMORY задайте параметр
SET max_heap_table_size = 1024*1024 * 100; (100М) можно больше
затем создаем таблицу
...
Рейтинг: 0 / 0
12.02.2021, 23:31
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40045010
Фотография Alex_Ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_Ustinov
Участник
вадя
Alex_Ustinov,

Код: sql
1.
2.
3.
CREATE TABLE test ENGINE=MEMORY
           (SELECT ip,SUM(downloads) AS down
           FROM log_table GROUP BY ip);


так тоже можно
ENGINE до SELECT, скобки вообще неважны, по науке AS SELECT
...
Рейтинг: 0 / 0
12.02.2021, 23:32
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40045013
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miltorg
miltorg,

Есть у меня серьёзное подозрение, что на более мощном железе - моя проблема и не возникла - была бы решена на Перле - как в первой теме - сравнением массивов на Перле - за сутки.

Покажи своё Perl-приложение.
...
Рейтинг: 0 / 0
12.02.2021, 23:51
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40045025
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
mayton,

22272252
...
Рейтинг: 0 / 0
13.02.2021, 02:28
| Ответить | Цитировать | Написать  
6 часов считает. Как оптимизировать?
    #40045073
Фотография miltorg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miltorg
Участник
miltorg,

Вот это да! 6 секунд! А было 25.

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
mysql> CREATE TABLE t34
    ->
    -> select t20.id as id1,  t21.id as id2,
    ->
    -> MAKE_SET (t20.str_bit1 & t21.str_bit1,
    -> 50,49,48,47,46,45,44,43,42,41,40,39,38,37,36,35,34,33,32,
    -> 31,30,29,28,27,26,25,24,23,22,21,20,19,18,17,16,15,14,13,12,11,10,9,8,7,6,5,4,3,2,1) as u1,
    ->
    -> MAKE_SET (t20.str_bit2 & t21.str_bit2,
    -> 99,98,97,96,95,94,93,92,91,90,89,88,87,86,85,84,83,82,81,80,79,78,77,76,75,74,73,72,71,
    -> 70,69,68,67,66,65,64,63,62,61,60,59,58,57,56,55,54,53,52,51) as u,
    ->
    -> BIT_COUNT(t20.str_bit1 & t21.str_bit1)+BIT_COUNT(t20.str_bit2 & t21.str_bit2) as XXX,
    ->
    -> t20.idold, t20.XXX as XXXold
    ->
    -> from t20 join t20 as t21
    -> where  t20.id<t21.id
    -> AND BIT_COUNT(t20.str_bit1 & t21.str_bit1)+BIT_COUNT(t20.str_bit2 & t21.str_bit2) >= 10
    ->
    -> limit 2;
Query OK, 2 rows affected (6.71 sec)
Records: 2  Duplicates: 0  Warnings: 0
...
Рейтинг: 0 / 0
13.02.2021, 15:29
| Ответить | Цитировать | Написать  
10 сообщений из 35, страница 2 из 2
  2  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / 6 часов считает. Как оптимизировать?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&gotonew=1&tid=1828182]:
 0ms
get settings:
 7ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 136ms
get topic data:
 8ms
get first new msg:
 7ms
get forum data:
 2ms
get page messages:
 49ms
get tp. blocked users:
 1ms
others: 240ms
total:  470ms
созд. / загр.: 470ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]