|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Тут даже кто-то его допиливает под ios, полистай форум С++ ... |
|||
:
Нравится:
Не нравится:
|
|||
14.08.2019, 20:28 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
полудухна бинарном протоколе, который в сотни раз быстрее текстового было бы что вставлять))) Миллион вставок в минуту это быстрее или нет? А режим COPY быстрее или нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 00:08 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
На 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 11:09 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
mayton, Поискал ссылки на либу - бородатая технология. Инфы ноль. Имхо ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 12:23 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Меня пугает слово unofficial. Зачем оно unofficial, когда в РФ есть сильное PG комьюнити? Кроме того господин Федоров работает в EpicGames, если судить по сведениям профиля в гите. Кроме того такие громкие заявления как на бинарном протоколе, который в сотни раз быстрее текстового надо подвергать очень пристальному изучению. Сравнительно недавно один господин создавал сверхбыстрый логгер для java технологий базируясь на самом медленном рантайме Groovy. Также недавно (лет 5 назад) другой господин создавал свою DBMS с наносекундным откликом несмотря на то что использовать ее собирался из .Net и просадил на накладных расходах 1000% неучтенного времени в целом. Вобщем все что очень-быстрое базируется на фейковых тестах которые зело быстры и стремительны только на авторском сайте и иногда только на авторской постановке задачи. Вот такие у меня concerns. Против PG-драйвера я не имею ничего против. Я плюсую но хотел-бы понять где и как эту стократную цифру можно получить? На ETL? На OLTP? Можно ли ее получить на платформерах (.Net, Java). Последнее мне еще важнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 12:34 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
mayton... на бинарном протоколе, который в сотни раз быстрее текстового надо подвергать очень пристальному изучению. Нечего тут подвергать. "гражданин соврамши" ( C ) Главный профит будет уменьшение трафика по сети. Ускорение - сильно сомневаюсь. В свое время перекачивал базу > 140 Gb из Oracle в PostgreSQL, делал через тектовый формат COPY - все упиралось в сервер (построение индексов), хоть он был нифига не слабый, а дисковая полка вообще отрабатывала за 0 ms (мгновенно, большой кэшь и подключение по FC) Думаю уменьшение трафика будет максимум раза в 2, т.ч. и ускорение теоретически может составить максимум до двух раз. Подозреваю на большинстве задача реально процентов 5-10%. Но для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:15 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevГлавный профит будет уменьшение трафика по сети. Ускорение - сильно сомневаюсь. В свое время перекачивал базу > 140 Gb из Oracle в PostgreSQL, делал через тектовый формат COPY - все упиралось в сервер (построение индексов), хоть он был нифига не слабый, а дисковая полка вообще отрабатывала за 0 ms (мгновенно, большой кэшь и подключение по FC) Это вы дяденька маху дали. На миграциях - отключают индексы и триггера. А потом включат rebuild..., enable without check... e.t.c.. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:40 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevНо для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять) Недавно смотрел видос от Бартунова (это главный постгресщик по РФ). Он хвастался что в разработке перформанса работы с JSON-B, они достигли таких высот что обошли MongoDB. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:41 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
maytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера. А потом включат rebuild..., enable without check... e.t.c.. Я так и делал - оно почти фиолетово. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:43 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevГлавный профит будет уменьшение трафика по сети.ну есть же другие методы. Например, постгри и сиквел с успехом перебрасывают вставку по сети как файлы. А потом уже вставляют файлы в базу лежащие на компе где база. Все это автоматом и без участия программиста. Ну почти без. Строк 10 кода. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:50 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevmaytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера. А потом включат rebuild..., enable without check... e.t.c.. Я так и делал - оно почти фиолетово.ну как может быть фиолетово? Вы даже не спросили что в триггере. Реально помогает! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:51 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevmaytonЭто вы дяденька маху дали. На миграциях - отключают индексы и триггера. А потом включат rebuild..., enable without check... e.t.c.. Я так и делал - оно почти фиолетово. В средней БД. Объем индексного сегмента иногда равен общему объему таблиц. В db-blocks или в страницах. Поэтому отключение этой ненужно дисковой активности очень помогает. Но возможно в вашем кейсе сеть была настолько слаба что это мало влияло. Хотя должно было быть. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 13:58 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
maytonсеть была настолько слаба что это мало влияло. Хотя должно было быть. Не помню уже, на что основное время уходило. В целом добился того, что примерно равномерно размазывалось. Ну и сервер и диски были достаточно мощными (задержка на дисках вроде вообще 0 ms показывалась) Как раз думал. переписать на бинари формат или нет, но примерно прикинув выйгрыш в 5-10% - плюнул. Дабы он в доке нифига не документирован, только подбором и просмотром исходного кода PostgreSQL. p.s. Мне главное было добиться, что бы ошибки ушли (там были ошибки в значениях некоторых полей. которые в PostgreSQL не вставлялись, например NuN (not a number) в number полях Oracle и что-то еще). Ну и производительность "за ночь" вполне устраивала. Плюс минус час - особой роли уже не играло. p.p.s. возможно сеть были 100 Mb/s, уже не помню 160 Gb / 100 Mbit/s ethernet x 2 (т.к. вытянуть данные из Oracle, залить в PostgreSQL) = 160 000 / 10 x 2 сек = 32 000 sec = 8 часов. если я не ошибаюсь вроде у меня заливалось за 5-6 часов ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 14:33 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
maytonНа 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин? слайды ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 17:21 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
на слайдах где-то в начале есть графики сравнения text VS binary maytonLeonid KudryavtsevНо для ряда задач может быть ОЧЕНЬ осмысленно. Работал в проекте, где PostgreSQL использовался исключительно как хранилище BLOB'ов в которых и была сериализована вся информация. 2-х кратный трафик на BLOB'ах - для __данной__ задачи был сильно большим недостатком. Но это относительно редкое использование PostgreSQL (по факту, легко было бы на любую No-SQL базу поменять) Недавно смотрел видос от Бартунова (это главный постгресщик по РФ). Он хвастался что в разработке перформанса работы с JSON-B, они достигли таких высот что обошли MongoDB. наверное я это видео сюда и постил я почти всего Бартунова смотрел и Космодемьянского и некоторых других JSON-b это внутренний протокол/формат постгри, а тут про драйвер C++ ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 17:26 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
полудухmaytonНа 50 минут видоса смотреть? А есть краткое резюме о чем вещает бородатый господин? слайды О. Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2019, 17:36 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
полудухюзает кто? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 01:42 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
Хм... в конце слайдов уже написано что Федоров работает в Янддексе. По поводу цифр. Никаких там сотни раз быстрее я не увидел. Где-то на восьмой странице приводится столбчатые диаграммы с графиками с непонятными сценариями тестирования. Сравниваются протоколы. Текстовый и двоичный. Безотносительно драйвера и программного продукта. Сравниваются кейсы (предположительно) на Int64, Ts. В разрезах чтения записи и текстового и бианрного протоколов. Итого получается 2*2*2 = 8 экспериментов. Преимущество более чем в 2 раза у бинарного протокола вполне себе очевидно. И на этом всё. Какие данные? какие типы транзакций OLTP? ETL? Зачем мне нужен Int64? Я не понимаю. Мне нужен numeric(), varchar(), date(). Я с ними работаю каждый день и много. Вобщем ... много неясностей господа хорошие. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 11:59 |
|
Postgres-драйвер
|
|||
---|---|---|---|
#18+
mayton, Согласен. Дьявол кроется в деталях. О деталях разговора нет. Последний юзавший почил в 2009 году. Занавес. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2019, 12:07 |
|
|
start [/forum/topic.php?fid=57&msg=39849953&tid=2017584]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
others: | 287ms |
total: | 424ms |
0 / 0 |