Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / C++ [игнор отключен] [закрыт для гостей] / Postgres-драйвер / 22 сообщений из 22, страница 1 из 1
14.08.2019, 17:40
    #39849396
полудух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
юзает кто?
YouTube Video
...
Рейтинг: 0 / 0
14.08.2019, 20:28
    #39849472
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Тут даже кто-то его допиливает под ios, полистай форум С++
...
Рейтинг: 0 / 0
15.08.2019, 00:08
    #39849546
PetroNotC Sharp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
полудухна бинарном протоколе, который в сотни раз быстрее текстового
было бы что вставлять)))
Миллион вставок в минуту это быстрее или нет?
А режим COPY быстрее или нет?
...
Рейтинг: 0 / 0
15.08.2019, 11:09
    #39849642
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
На 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин?
...
Рейтинг: 0 / 0
15.08.2019, 12:23
    #39849711
PetroNotC Sharp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
mayton,
Поискал ссылки на либу - бородатая технология. Инфы ноль.
Имхо
...
Рейтинг: 0 / 0
15.08.2019, 12:34
    #39849714
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Меня пугает слово unofficial. Зачем оно unofficial, когда в РФ есть сильное PG комьюнити?

Кроме того господин Федоров работает в EpicGames, если судить по сведениям профиля
в гите.

Кроме того такие громкие заявления как
на бинарном протоколе, который в сотни раз быстрее текстового
надо подвергать очень пристальному изучению.

Сравнительно недавно один господин создавал сверхбыстрый логгер для java технологий
базируясь на самом медленном рантайме Groovy.

Также недавно (лет 5 назад) другой господин создавал свою DBMS с наносекундным откликом
несмотря на то что использовать ее собирался из .Net и просадил на накладных расходах 1000% неучтенного
времени в целом.

Вобщем все что очень-быстрое базируется на фейковых тестах которые зело быстры и стремительны
только на авторском сайте и иногда только на авторской постановке задачи.

Вот такие у меня concerns.

Против PG-драйвера я не имею ничего против. Я плюсую но хотел-бы понять где и как эту стократную цифру
можно получить? На ETL? На OLTP? Можно ли ее получить на платформерах (.Net, Java). Последнее мне
еще важнее.
...
Рейтинг: 0 / 0
15.08.2019, 13:15
    #39849734
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
mayton...
на бинарном протоколе, который в сотни раз быстрее текстового
надо подвергать очень пристальному изучению.

Нечего тут подвергать.
"гражданин соврамши" ( C )

Главный профит будет уменьшение трафика по сети. Ускорение - сильно сомневаюсь. В свое время перекачивал базу > 140 Gb из Oracle в PostgreSQL, делал через тектовый формат COPY - все упиралось в сервер (построение индексов), хоть он был нифига не слабый, а дисковая полка вообще отрабатывала за 0 ms (мгновенно, большой кэшь и подключение по FC)

Думаю уменьшение трафика будет максимум раза в 2, т.ч. и ускорение теоретически может составить максимум до двух раз. Подозреваю на большинстве задача реально процентов 5-10%.

Но для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять)
...
Рейтинг: 0 / 0
15.08.2019, 13:40
    #39849756
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Leonid KudryavtsevГлавный профит будет уменьшение трафика по сети. Ускорение - сильно сомневаюсь. В свое время перекачивал базу > 140 Gb из Oracle в PostgreSQL, делал через тектовый формат COPY - все упиралось в сервер (построение индексов), хоть он был нифига не слабый, а дисковая полка вообще отрабатывала за 0 ms (мгновенно, большой кэшь и подключение по FC)

Это вы дяденька маху дали. На миграциях - отключают индексы и триггера.
А потом включат rebuild..., enable without check... e.t.c..
...
Рейтинг: 0 / 0
15.08.2019, 13:41
    #39849758
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Leonid KudryavtsevНо для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять)
Недавно смотрел видос от Бартунова (это главный постгресщик по РФ). Он хвастался что в разработке
перформанса работы с JSON-B, они достигли таких высот что обошли MongoDB.
...
Рейтинг: 0 / 0
15.08.2019, 13:43
    #39849759
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
maytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера.
А потом включат rebuild..., enable without check... e.t.c..
Я так и делал - оно почти фиолетово.
...
Рейтинг: 0 / 0
15.08.2019, 13:50
    #39849765
PetroNotC Sharp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Leonid KudryavtsevГлавный профит будет уменьшение трафика по сети.ну есть же другие методы.
Например, постгри и сиквел с успехом перебрасывают вставку по сети как файлы. А потом уже вставляют файлы в базу лежащие на компе где база.
Все это автоматом и без участия программиста. Ну почти без.
Строк 10 кода.
...
Рейтинг: 0 / 0
15.08.2019, 13:51
    #39849767
PetroNotC Sharp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Leonid KudryavtsevmaytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера.
А потом включат rebuild..., enable without check... e.t.c..
Я так и делал - оно почти фиолетово.ну как может быть фиолетово?
Вы даже не спросили что в триггере.
Реально помогает!
...
Рейтинг: 0 / 0
15.08.2019, 13:58
    #39849776
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Leonid KudryavtsevmaytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера.
А потом включат rebuild..., enable without check... e.t.c..
Я так и делал - оно почти фиолетово.
В средней БД. Объем индексного сегмента иногда равен общему объему таблиц. В db-blocks или в страницах.
Поэтому отключение этой ненужно дисковой активности очень помогает. Но возможно в вашем кейсе
сеть была настолько слаба что это мало влияло. Хотя должно было быть.
...
Рейтинг: 0 / 0
15.08.2019, 14:33
    #39849794
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
maytonсеть была настолько слаба что это мало влияло. Хотя должно было быть.
Не помню уже, на что основное время уходило.

В целом добился того, что примерно равномерно размазывалось. Ну и сервер и диски были достаточно мощными (задержка на дисках вроде вообще 0 ms показывалась)

Как раз думал. переписать на бинари формат или нет, но примерно прикинув выйгрыш в 5-10% - плюнул. Дабы он в доке нифига не документирован, только подбором и просмотром исходного кода PostgreSQL.

p.s.
Мне главное было добиться, что бы ошибки ушли (там были ошибки в значениях некоторых полей. которые в PostgreSQL не вставлялись, например NuN (not a number) в number полях Oracle и что-то еще). Ну и производительность "за ночь" вполне устраивала. Плюс минус час - особой роли уже не играло.
p.p.s.
возможно сеть были 100 Mb/s, уже не помню
160 Gb / 100 Mbit/s ethernet x 2 (т.к. вытянуть данные из Oracle, залить в PostgreSQL) = 160 000 / 10 x 2 сек = 32 000 sec = 8 часов.
если я не ошибаюсь
вроде у меня заливалось за 5-6 часов
...
Рейтинг: 0 / 0
15.08.2019, 17:21
    #39849951
полудух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
maytonНа 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин?
слайды
...
Рейтинг: 0 / 0
15.08.2019, 17:26
    #39849953
полудух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
на слайдах где-то в начале есть графики сравнения text VS binary

maytonLeonid KudryavtsevНо для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять)
Недавно смотрел видос от Бартунова (это главный постгресщик по РФ). Он хвастался что в разработке
перформанса работы с JSON-B, они достигли таких высот что обошли MongoDB.
наверное я это видео сюда и постил
я почти всего Бартунова смотрел
и Космодемьянского
и некоторых других
JSON-b это внутренний протокол/формат постгри, а тут про драйвер C++
...
Рейтинг: 0 / 0
15.08.2019, 17:27
    #39849955
полудух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
а пойду ка я спрошу у постгресников
...
Рейтинг: 0 / 0
15.08.2019, 17:36
    #39849959
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
полудухmaytonНа 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин?
слайды
О. Спасибо.
...
Рейтинг: 0 / 0
16.08.2019, 01:42
    #39850095
ёёёёё
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
полудухюзает кто?
YouTube Video
...
Рейтинг: 0 / 0
16.08.2019, 11:59
    #39850271
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
Хм... в конце слайдов уже написано что Федоров работает в Янддексе.

По поводу цифр. Никаких там сотни раз быстрее я не увидел. Где-то на восьмой странице
приводится столбчатые диаграммы с графиками с непонятными сценариями тестирования.

Сравниваются протоколы. Текстовый и двоичный. Безотносительно драйвера и программного продукта.
Сравниваются кейсы (предположительно) на Int64, Ts. В разрезах чтения записи и текстового и бианрного
протоколов. Итого получается 2*2*2 = 8 экспериментов.

Преимущество более чем в 2 раза у бинарного протокола вполне себе очевидно. И на этом всё.

Какие данные? какие типы транзакций OLTP? ETL?

Зачем мне нужен Int64? Я не понимаю. Мне нужен numeric(), varchar(), date(). Я с ними работаю
каждый день и много.

Вобщем ... много неясностей господа хорошие.
...
Рейтинг: 0 / 0
16.08.2019, 12:07
    #39850275
PetroNotC Sharp
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
mayton,
Согласен. Дьявол кроется в деталях.
О деталях разговора нет.
Последний юзавший почил в 2009 году.
Занавес.
...
Рейтинг: 0 / 0
16.08.2019, 18:52
    #39850533
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Postgres-драйвер
maytonХм... в конце слайдов уже написано что Федоров работает в Янддексе.
.

да там на картинке это написано
...
Рейтинг: 0 / 0
Форумы / C++ [игнор отключен] [закрыт для гостей] / Postgres-драйвер / 22 сообщений из 22, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]