ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Параллельные вычисления
15 сообщений из 15, страница 1 из 1
Параллельные вычисления
    #40053751
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sysdba22
Гость
На правах оплатившего очередной взнос в фонд за Company Voting Membership и находясь в ситуации выбирающего бд технологию на следующие 25 лет, задам такой вопрос: планируется ли в ФБ 5 распараллеливание выполнения одного запроса?

Например, имеем запрос с джоином из шести таблиц. Оптимизатор прикидывает как из них лучше организовать три попарных джоина и отправляет их на три разных ядра/процессора для параллельного выполнения, полученные результаты джоинятся в итоговую выборку.

Похожим образом для группировок/сортировок. Данные делятся на части, каждая из которых сортируется на отдельном ядре/процессоре и потом сливаются в единый результирующий набор данных.
...
Рейтинг: 0 / 0
15.03.2021, 17:43
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053766
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
sysdba22планируется ли в ФБ 5 распараллеливание выполнения одного запроса?

Нет. Даже для мажорной версии это требует слишком глубокой переработки движка.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.03.2021, 18:15
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053776
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
sysdba22
На правах оплатившего очередной взнос в фонд за Company Voting Membership
Спасибо за поддержку проекта!

sysdba22
задам такой вопрос: планируется ли в ФБ 5 распараллеливание выполнения одного запроса?
Параллелизм при выполнении запросов - не однозначная штука.

Когда нужно выполнить тяжёлый отчет и никто не конкурирует за ресурсы этого же сервера - это может быть прекрасно.
Но когда сервер работает в своём обычном режиме, выполняя множество запросов одновременно, то можно получить совсем не то, на что рассчитывали.

Обычно презентуют первый сценарий и упирают на супер-мега-фичу, да.

Я не против этой фичи, нет, но советую не переоценивать её слишком сильно.

Не буду обещать золотые горы, но в fb5 скорее всего появится распараллеливание выполнения наиболее тяжёлых административных задач - свип, бекап, рестор.
...
Рейтинг: 0 / 0
15.03.2021, 18:41
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053801
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
hvlad,

кстати, сортировки для plan sort можно же распараллелить? Так что частичное распараллеливание запросов всё же появится.
...
Рейтинг: 0 / 0
15.03.2021, 20:24
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053809
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wadman
Участник
Когда копался внутрях оракла (не в асме, а в поведении), то замечал, что запросы, которые трогают разные партиции, хорошо паралелятся.

Партиции тоже вещь хорошая. Особенно в качестве перехода.
...
Рейтинг: 0 / 0
15.03.2021, 20:43
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053812
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
sysdba22Например, имеем запрос с джоином из шести таблиц. Оптимизатор прикидывает как из них лучше организовать три попарных джоина и отправляет их на три разных ядра/процессора для параллельного выполнения, полученные результаты джоинятся в итоговую выборку.

я думаю именно это можно и без параллелизма ускорить. Оптимизатор, методы доступа и подсистему I/O можно ещё улучшать и улучшать.

Кстати там где это сделано, для включения параллелизма требуются повышенные привилегии, чтобы кто не попадя случайно не послал запрос который сожрёт все ресурсы сервера.
...
Рейтинг: 0 / 0
15.03.2021, 20:46
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053828
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
wadman
Партиции тоже вещь хорошая.
+N
...
Рейтинг: 0 / 0
15.03.2021, 21:22
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053844
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Симонов ДенисОптимизатор, методы доступа и подсистему I/O можно ещё улучшать и улучшать.
в 2010 году на конференции в Днепропетровске Еманова спросили про улучшение I/O, и он ответил, что "мы посмотрим, что там с SSD". Ну и, как бы, чем не экстенсивный путь повышения производительности. Так оно и вышло.
...
Рейтинг: 0 / 0
15.03.2021, 23:00
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053882
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
hvlad,

Раз уж пошла такая тема. Помню, в fb-devel обсуждалось удаление прослойки BLR - что она лишняя и можно обойтись без нее. Это в дальней перспективе осталось и действительно ли это даст ускорение выполнения PSQL?
...
Рейтинг: 0 / 0
16.03.2021, 08:24
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053899
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
CyberMax,

байт-код это промежуточный этап компиляции, в выполнении запроса он не участвует и на скорость напрямую не влияет
...
Рейтинг: 0 / 0
16.03.2021, 09:42
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053938
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
CyberMax,

можно даже сказать, что у нас (в FB и IB) выполнение запросов и процедур не имеет разницы по производительности именно из-за BLR. А в других серверах - разница есть.
...
Рейтинг: 0 / 0
16.03.2021, 11:15
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053947
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
kdv,

скорее из-за того что все виды запросов (DSQL и PSQL) выполняются одним движком. А уж BLR-ный он или SQL-ный или еще какой - не суть важно.
...
Рейтинг: 0 / 0
16.03.2021, 11:58
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053952
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
16.03.2021 11:58, dimitr пишет:
> скорее из-за того что все виды запросов (DSQL и PSQL) выполняются одним движком.
> А уж BLR-ный он или SQL-ный или еще какой - не суть важно.

+500
у Оракла до недавного времени были отдельные движки для SQL и PL-SQL (не считая жабы).
и можно было на PL-SQL зафигачить процедуру скомпилированную в нативный бинарник, а не байт-код.
но по этой же причине, при вызове SQL-запросов из PL-SQL, требовалось т.н. "переключение контекста",
которое отжирает ресурсы и снижает результирующую производительность.
как у них там сейчас с этим, не в курсе.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.03.2021, 12:06
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053967
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
dimitrбайт-код это промежуточный этап компиляции, в выполнении запроса он не участвует и на
скорость напрямую не влияет

Тогда за счёт чего модификация базы на слейве через интерфейс репликации настолько
быстрее, чем на мастере через запросы?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.03.2021, 12:55
| Ответить | Цитировать | Написать  
Параллельные вычисления
    #40053970
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Dimitry Sibiryakov,

меньше кода выполняется. Вместо риквестов и виртуальной машины (лупера) вызовы VIO напрямую.
...
Рейтинг: 0 / 0
16.03.2021, 12:58
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Параллельные вычисления
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&fpage=8&tid=1560092]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 76ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 2ms
others: 14ms
total:  200ms
созд. / загр.: 200ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]