ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость работы Fireberd по сети
25 сообщений из 111, страница 2 из 5
  2  все
Скорость работы Fireberd по сети
    #39927999
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Мимопроходящий

кастуй БЛОБы к варчару.
роундтрипов меньше будет.


В блобах SQL запросы, они большие.
...
Рейтинг: 0 / 0
18.02.2020, 14:51
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928000
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
RRR39
В том то и дело, что работать надо из Конторы2

пинг то какой между ними? а то поди через пол шара ходишь в бд и удивляешься
и да, блобы увеличивают кол-во раундтрипов в разы
...
Рейтинг: 0 / 0
18.02.2020, 14:53
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928001
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Симонов Денис

сравни пинги


Из дома 1-2 мс, даже странно, как по локалке.
С Конторы2 73-77мс
...
Рейтинг: 0 / 0
18.02.2020, 14:53
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928003
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
ЧТД
...
Рейтинг: 0 / 0
18.02.2020, 14:56
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928005
Шавлюк Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шавлюк Евгений
Участник
Настроить подключение по RDP и забыть про пинги
...
Рейтинг: 0 / 0
18.02.2020, 15:00
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928007
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Дегтярев Евгений
блобы увеличивают кол-во раундтрипов в разы


А как можно ускорить передачу большого текста?
Запросы не все большие, но все равно больших запросов достаточно много.
...
Рейтинг: 0 / 0
18.02.2020, 15:01
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928011
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
RRR39Как раз первый запрос, это загрузка на клиент SQL запросов, там их около 150 записей 5
BLOBов на запись.

Обломись, эта хрень быстро работать не будет никак.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.02.2020, 15:03
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928016
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
RRR39,

нормально никак. Можно часть которая помещается в VARCHAR, а в BLOB отдавать NULL, те кто не помещает передавать как было. Но это надо клиентскую сторону переписывать.
Кстати кому в голову пришло передавать запросы с сервера как BLOB? Это не очень умно.
К слову в 1.5 запросы длиннее 64K всё равно нельзя было делать. У VARCHAR ограничение 32K не уж то длиннее запросы писали?
...
Рейтинг: 0 / 0
18.02.2020, 15:11
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928025
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
хранить в блобе зипованные запросы? на клиенте распаковывать. глядишь зип утрамбуется и в варчар чарсет октетц.
...
Рейтинг: 0 / 0
18.02.2020, 15:30
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928026
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
Симонов Денис
К слову в 1.5 запросы длиннее 64K всё равно нельзя было делать. У VARCHAR ограничение 32K не уж то длиннее запросы писали?

Если там вдруг не-ascii, то уже 8К, что совсем не много. Хотя можно сделать поле octets, но имея в виду, что там utf8
...
Рейтинг: 0 / 0
18.02.2020, 15:30
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928032
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Василий 2,

с чего бы это? WIN1251 однобайтовая кодировка.
UTF-8 нормального во время 1.5 не было
...
Рейтинг: 0 / 0
18.02.2020, 15:35
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928036
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pastor
Участник
RRR39
Дегтярев Евгений
блобы увеличивают кол-во раундтрипов в разы


А как можно ускорить передачу большого текста?
Запросы не все большие, но все равно больших запросов достаточно много.


раньше было ZeBeDee. в ней можно было зиповать траффик. что есть сейчас - пес его знает. без надобности.
...
Рейтинг: 0 / 0
18.02.2020, 15:39
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928048
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
pastor
KreatorXXI
пропущено...


Это ж надо логику какую-то прописать. Периодическое обновление! Я ещё понимаю, если справочник ну очень редкоизменяемый, ну прямо совсем редко.
Ещё надо заметить, что не совсем тривиальная задача сделать запрос, который подтянет данные с сервака и объединит их с теми, которые уже на клиенте.


pastorУ меня сейчас приложения вместо чтения настроек и ресурсов по месту применения, читают все таблицу при подключении.

Ну это же не справочники.
...
Рейтинг: 0 / 0
18.02.2020, 15:51
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928056
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
pastor
раньше было ZeBeDee.
В том виде как оно было тогда, в том же виде пребывает и сейчас. Вполне, кстати, можно пользоваться. По идее из более нового - это OpenVPN с соотв. параметрами конфига относительно компрессии трафика.
...
Рейтинг: 0 / 0
18.02.2020, 16:02
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928058
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Симонов Денис
RRR39,

нормально никак. Можно часть которая помещается в VARCHAR, а в BLOB отдавать NULL, те кто не помещает передавать как было. Но это надо клиентскую сторону переписывать.
Кстати кому в голову пришло передавать запросы с сервера как BLOB? Это не очень умно.
К слову в 1.5 запросы длиннее 64K всё равно нельзя было делать. У VARCHAR ограничение 32K не уж то длиннее запросы писали?


Наоборот все отлично реализовано.
Изначально клиентская прога была написана на Делфи. Все запросы хранятся в базе, и получаются клиентом по мере необходимости или при запуске. В итоге при изменении какого то запроса, ни чего на клиенте менять не надо. Вычисления производятся в хранимых процедурах. Клиент ни чего лишнего не получает и почти ни чего не считает.

Перегнать Блобы в Варчач можно в процедуре, и запрашивать уже процедуру. Я просто не знал что Варчар можно сделать 32тыс символов. Надо попробовать.
...
Рейтинг: 0 / 0
18.02.2020, 16:02
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928063
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
RRR39Я просто не знал что Варчар можно сделать 32тыс символов.


Не символов, а байт. Точнее 32765.

Главное не превысить ещё и общее ограничение на размер сообщения (длины записи) в 64K
...
Рейтинг: 0 / 0
18.02.2020, 16:10
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928071
Шавлюк Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шавлюк Евгений
Участник
RRR39,

У вас же эти запросы не меняются каждый день?
Кешируйте их. Сохраните в файл.
В при первом запуске скачайте хеши запросов в БД, и сравните с такими же в файлах.
Ускорите загрузку на порядки
...
Рейтинг: 0 / 0
18.02.2020, 16:23
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928076
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pastor
Участник
Шавлюк Евгений
RRR39,

У вас же эти запросы не меняются каждый день?
Кешируйте их. Сохраните в файл.
В при первом запуске скачайте хеши запросов в БД, и сравните с такими же в файлах.
Ускорите загрузку на порядки


в 1.5 были хэши?
...
Рейтинг: 0 / 0
18.02.2020, 16:30
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928079
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
pastor,

ну UDF то всегда можно написать.
Их и в 3.0 нормальных нет, слишком много коллизий даёт. Нормальные встроенные хэши появились только в 4.0.
...
Рейтинг: 0 / 0
18.02.2020, 16:39
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928081
Шавлюк Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шавлюк Евгений
Участник
pastor,

В rfunc есть md5sum, вполне подойдет

md5 удобно тем, что на клиенте его можно посчитать, в отличии от встроенной функции
...
Рейтинг: 0 / 0
18.02.2020, 16:43
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928088
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Симонов Денис
RRR39Я просто не знал что Варчар можно сделать 32тыс символов.


Не символов, а байт. Точнее 32765.

Главное не превысить ещё и общее ограничение на размер сообщения (длины записи) в 64K

Спасибо что открыли мне глаза на Варчар.
Скорость подготовки стала даже немного больше, зато скорость получения результата выросла раз в 30.
Если честно, я в шоке. То же самое количество символов передается в 30 раз быстрее.
Причем локально разницы ни какой нет.
...
Рейтинг: 0 / 0
18.02.2020, 16:56
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928089
RRR39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RRR39
Участник
Шавлюк Евгений
RRR39,

У вас же эти запросы не меняются каждый день?
Кешируйте их. Сохраните в файл.
В при первом запуске скачайте хеши запросов в БД, и сравните с такими же в файлах.
Ускорите загрузку на порядки


Да, уже подумывыл о таком варианте.
Конечно без хэшей, а просто закинуть в Контору2 локальный комплект запросов.
Но тут оказалось, что Варчар это целая куча символов и небольшая процедурка ускорила получение SQL запросов раз этак в 30.
...
Рейтинг: 0 / 0
18.02.2020, 16:59
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928099
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pastor
Участник
RRR39
Шавлюк Евгений
RRR39,

У вас же эти запросы не меняются каждый день?
Кешируйте их. Сохраните в файл.
В при первом запуске скачайте хеши запросов в БД, и сравните с такими же в файлах.
Ускорите загрузку на порядки

Да, уже подумывыл о таком варианте.
Конечно без хэшей, а просто закинуть в Контору2 локальный комплект запросов.
Но тут оказалось, что Варчар это целая куча символов и небольшая процедурка ускорила получение SQL запросов раз этак в 30.


если это SQL - то размер оператора все равно не может быль больше 32к. за глаза хватит.

потыкал палкой полторашку на тестере

там есть TcpRemoteBufferSize

 
# TCP/IP buffer size for send and receive buffers of both the client
# and server. The engine reads ahead of the client and can send
# several rows of data in a single packet. The larger the packet size,
# the more data is sent per transfer. Range is 1448 to 32768.
#
# Type: integer
#
#TcpRemoteBufferSize = 8192
...
Рейтинг: 0 / 0
18.02.2020, 17:16
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928123
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
pastorтам есть TcpRemoteBufferSize

Не поможет. Проблема в упрямом <латентность сети>*<количество round-trip>.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.02.2020, 18:08
| Ответить | Цитировать | Написать  
Скорость работы Fireberd по сети
    #39928336
Фотография o_v_a
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
o_v_a
Участник
pastor

раньше было ZeBeDee. в ней можно было зиповать траффик. что есть сейчас - пес его знает. без надобности.

ZeBeDee не уменьшает количество пакетов. Только шифрует и сжимает информацию в них.
Мы используем zebedee исторически с точки зрения шифрования обмена по публичным каналам.
Но. Одно "но" есть важное.
У ZeBeDee есть шикарные логи, которые позволят увидеть то количество пакетов, которое прошло в обе стороны. И понять, как задержки сети (время ping) влияет на именно ваш клиент-серверный обмен.
...
Рейтинг: 0 / 0
19.02.2020, 11:28
| Ответить | Цитировать | Написать  
25 сообщений из 111, страница 2 из 5
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость работы Fireberd по сети
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39928036&tid=1560425]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 52ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 273ms
total:  428ms
созд. / загр.: 428ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]