Sybase ASE ODBC производительность / Sybase ASA, ASE, IQ

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Sybase ASE ODBC производительность

14 сообщений из 14, страница 1 из 1

Sybase ASE ODBC производительность

#38412783

_devel

Гость

Здравствуйте,

Наше приложение написано на .net(c#), к базе (ASE 15.7) коннектимся через ODBC, используя ADO.NET ODBC провайдеры(System.Data.Odbc).
Последнее время стали замечать что производительность на больших выборках заметно падает.
Таблица 43 колонки, ~100 000 строк, отображается за ~ 40 сек, но если этот же запрос выполнить в Interactive SQL, то выборка отработает за ~6 сек.
"Раскопки", показали что, ADO.NET ODBC провайдер работает используя функцию SQLGetData().
Написав на C++ два тестовых примера, один с SQLGetData(), второй с SQLBindCol(), выяснили что при с SQLBindCol(), производительность повысилась и достигла уровня как в Interactive SQL.

Вопрос: Кто виноват? Sybase с тем что его SQLGetData() работает медленно, или Microsoft из-за использования в обертке(ADO.NET ODBC провайдер) медленной функции SQLGetData()?

...

Рейтинг:

0 / 0

01.10.2013, 11:43

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38412945

Nashville

Участник

Сообщения: 179

Рейтинг: 0 / 0

_devel,

Могу предположить, что в первом случае с GetData приложение ждет до конца получения всех данных, а в другом случае вначале отображает небольшое кол-во строк и уже потом в фоновом режиме "дочитывает" остальные данные, таким же образом работает и Interactive SQL.

...

Рейтинг:

0 / 0

01.10.2013, 13:04

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413071

_devel

Гость

Nashville,

Неа, в обоих случаях вызывается SQLFetch(). Так что вряд ли "ждет до конца получения всех данных".

С SQLBindCol()

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.

    
    retcode = SQLBindCol(stmt, 4, SQL_C_WCHAR, aufName, sizeof(aufName), &aufNameLen);
    sqlok(stmt, retcode, (char*)"SQLBindCol failed");

    while (retcode == SQL_SUCCESS || retcode == SQL_SUCCESS_WITH_INFO)
    {
        retcode = SQLFetch(stmt);
    }

С SQLGetData()

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.

    
    //retcode = SQLBindCol(stmt, 4, SQL_C_WCHAR, aufName, sizeof(aufName), &aufNameLen);
    //sqlok(stmt, retcode, (char*)"SQLBindCol failed");

    while (retcode == SQL_SUCCESS || retcode == SQL_SUCCESS_WITH_INFO)
    {
        retcode = SQLFetch(stmt);
        SQLGetData(stmt, 4, SQL_C_WCHAR, aufName, sizeof(aufName), &aufNameLen);
    }

...

Рейтинг:

0 / 0

01.10.2013, 14:06

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413150

Nashville

Участник

Сообщения: 179

Рейтинг: 0 / 0

_devel,

Retrieving data using the SQLBindCol function instead of using the
SQLGetData function reduces the number of ODBC calls, and ultimately
the number of network round trips, improving performance.
http://cdn.ttgtmedia.com/searchDataManagement/downloads/DataAccessHandbook_CH05.pdf

и еще одна ссылка на Sybase
http://infocenter.sybase.com/help/index.jsp?topic=/com.sybase.infocenter.dc01776.1600/doc/html/saiq-retrieving-working-odbcdev.html

...

Рейтинг:

0 / 0

01.10.2013, 14:54

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413183

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

_devel,

А зачем же вам сто тысяч записей?

...

Рейтинг:

0 / 0

01.10.2013, 15:14

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413248

_devel

Гость

MasterZiv_devel,

А зачем же вам сто тысяч записей?

Не сыпьте мне соль на рану MasterZiv.
Так требует заказчик. Подозреваю что до нашей системы они работали с экселем, и чтоб каждый раз не просить IT-службу достать какую-то инфу из бд, хотят иметь вот такую фишку. Выдернул я им колонки как в бывшем экселе за пол года, а они дальше ковыряются. Бред конечно, но.... надо делать.

...

Рейтинг:

0 / 0

01.10.2013, 15:49

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413387

_devel

Гость

В принципе, диагноз ясен и понятен, все из-за множественного вызова SQLGetData().
Спасибо Nashville!

Вопрос к "знатокам": А что, SQLBindCol() имеет какие-то ограничения или неудобства? Почему Microsoft пошла именно по пути SQLGetData(), в своем ADO.NET вместо SQLBindCol()???

...

Рейтинг:

0 / 0

01.10.2013, 17:13

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413528

White Owl

Участник

Сообщения: 12 726

Рейтинг: 0 / 0

_develВ принципе, диагноз ясен и понятен, все из-за множественного вызова SQLGetData().
Спасибо Nashville!

Вопрос к "знатокам": А что, SQLBindCol() имеет какие-то ограничения или неудобства? Почему Microsoft пошла именно по пути SQLGetData(), в своем ADO.NET вместо SQLBindCol()???У SQLBindCol нет возможности работать с длинными типами. Там сколько памяти дал под колонку - столько вытянуть и сможешь.
А у SQLGetData() такой проблемы нет - там можно звать SQLGetData несколько раз подряд на одно и то-же поле одной и той-же строки и получать на каждом вызове очередной кусочек данных. Единственный метод для работы со всяческими long varchar, long binary, text, ntext и тд и тп.
Ну и что-бы не усложнять ADO.Net интерфейс мелкомягкие решили пойти по наиболее универсальному, хоть и более медленному, пути.

...

Рейтинг:

0 / 0

01.10.2013, 19:27

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413552

_devel

Гость

White Owl,

Понял, спасибо!

...

Рейтинг:

0 / 0

01.10.2013, 19:50

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38413748

lookat

Гость

_devel,

Можно попробовать вместо MS ADO.Net
использовать другой провайдер ADO.Net --
DataDirect компании Progress Software.
Компания делает wire-драйверы,
которые к тому же настраиваются.

http://www.datadirect.com/support/product-documentation/getting-started/datadirect-connect-for-ado-net

Удачи

...

Рейтинг:

0 / 0

02.10.2013, 01:05

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38414262

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

_develMasterZiv_devel,

А зачем же вам сто тысяч записей?

Не сыпьте мне соль на рану MasterZiv.
Так требует заказчик.

Пошли его в жопу.
Потом он тебя будет выспрашивать, как ему там что-то найти быстро,
а потом ещё немного -- и эксель переполнится.

Я серьёзно, без шуток.

...

Рейтинг:

0 / 0

02.10.2013, 14:01

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38414278

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

Ещё можно просто делать выгрузку не самому, а через BPC.
Или самому, но используя BCP API (сложнее, нужно не на С# писать наверное).

Идея такая: создаёшь view с запросом на нужную выборку. Запускаешь BCP на выгрузку из этой view вместо таблицы.
Потом view конечно удаляется.

BCP может генерировать CSV, а оно легко засасывается Excel.

...

Рейтинг:

0 / 0

02.10.2013, 14:10

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38414519

_devel

Гость

MasterZiv_develпропущено...

Не сыпьте мне соль на рану MasterZiv.
Так требует заказчик.

Пошли его в жопу.
Потом он тебя будет выспрашивать, как ему там что-то найти быстро,
а потом ещё немного -- и эксель переполнится.

Я серьёзно, без шуток.

Это уже политические вопросы, а не технические!

MasterZivЕщё можно просто делать выгрузку не самому, а через BPC.
Или самому, но используя BCP API (сложнее, нужно не на С# писать наверное).

Идея такая: создаёшь view с запросом на нужную выборку. Запускаешь BCP на выгрузку из этой view вместо таблицы.
Потом view конечно удаляется.

BCP может генерировать CSV, а оно легко засасывается Excel.

Думаю слезим с ODBC на ADO.net провайдеры самого ASE. Те что Sybase сам сделал.
Ну а мелкомягким "респект и уважуха" за такую "свинью" с SQLGetData()

...

Рейтинг:

0 / 0

02.10.2013, 16:01

| Ответить | Цитировать | Написать

Sybase ASE ODBC производительность

#38414869

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

_devel,

Это как раз технический вопрос.

...

Рейтинг:

0 / 0

02.10.2013, 21:24

| Ответить | Цитировать | Написать

14 сообщений из 14, страница 1 из 1

Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Sybase ASE ODBC производительность

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=55&msg=38412783&tid=2009929]:	0ms
get settings:	8ms
get forum list:	13ms
check forum access:	4ms
check topic access:	4ms
track hit:	166ms
get topic data:	12ms
get forum data:	3ms
get page messages:	53ms
get tp. blocked users:	1ms
others:	14ms

total:	278ms