ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / ServerMode и несколько миллионов записей
25 сообщений из 70, страница 2 из 3
  2  все
ServerMode и несколько миллионов записей
    #39565177
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
06.12.2017 15:33, Квейд пишет:
> Юрий, объясни своим специфическим людям, что если некто начнет просматривать по одной записи в секунду,
> то для просмотра *всего набора* из миллиона записей человеку понадобится 12 дней непрерывного времени.

имхо, проблема тут не только в заказчике.
проблема ещё и в том, что Юра не видит иных путей для достижения цели,
окромя как использовать встроенные в этот аляповатый грид средства фильтрации, сортировки, агрегации...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.12.2017, 15:36:39
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565179
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
06.12.2017 15:34, defecator пишет:
> Они в Excel строят аналитику

пивной ларёк Ltd
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.12.2017, 15:37:37
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565183
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
К слову, эксель может и сам напрямую к источникам данных подключаться, в т.ч. к базам данных.
...
Рейтинг: 0 / 0
06.12.2017, 15:40:33
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565185
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
06.12.2017 15:40, JaDi пишет:
> К слову, эксель может и сам напрямую к источникам данных подключаться, в т.ч. к базам данных.

сам напрямую не может.
только через ODBC/OLEDB
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.12.2017, 15:41:52
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565196
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
Мимопроходящий,

Про это и говорю. Например, автор может попробовать подготовить настроенный эксель с путями для подключения и отдавать эти файлы пользователям, раз им именно эксель нужен. В крайнем случае можно рядом выгрузить данные к csv или т.п. и так же через эксель подключиться к файлу. Это если там именно эксель нужен кому-то.
...
Рейтинг: 0 / 0
06.12.2017, 15:47:01
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565202
Valery_B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Valery_B
Участник
Леонов ЮрийМожно ли настроить cxGrid, чтобы он открывал сразу набор, а только потом высасывал по необходимости данные. Стоит задача открывать данные быстро.

Он и так это делает по умолчанию.
Грид здесь не причём, он рисует ровно столько данных, сколько помещается на экране.
Сделай отвязанный от визуальных компонентов Dataset.Open и сиди секундомером. Это и есть то, что ты называешь "открывать данные".

Леонов ЮрийФильтрация, выгрузка в Excel и т.п.

Определись, что именно - отображать или выгрузить ?
Если предполагается фильтрация, то её точно надо делать на сервере.
...
Рейтинг: 0 / 0
06.12.2017, 15:49:29
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565212
Фотография Квейд
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Квейд
Участник
defecatorКвейдпропущено...


Юрий, объясни своим специфическим людям, что если некто начнет просматривать по одной записи в секунду, то для просмотра всего набора из миллиона записей человеку понадобится 12 дней непрерывного времени.
а им не надо просматривать ВСЕ записи.
Они в Excel строят аналитику, а для этого нужны все возможные записиТС пишет, что ему нужны эти записи в Grid, а не в Excel. Или я что-то недопонял?
...
Рейтинг: 0 / 0
06.12.2017, 15:55:43
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565215
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
Квейдdefecatorпропущено...

а им не надо просматривать ВСЕ записи.
Они в Excel строят аналитику, а для этого нужны все возможные записиТС пишет, что ему нужны эти записи в Grid, а не в Excel. Или я что-то недопонял?
Возможно, спорить не буду.
Но слова "выгрузка в Excel" там присутствуют
...
Рейтинг: 0 / 0
06.12.2017, 16:00:19
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565225
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Квейдdefecatorпропущено...

а им не надо просматривать ВСЕ записи.
Они в Excel строят аналитику, а для этого нужны все возможные записиТС пишет, что ему нужны эти записи в Grid, а не в Excel. Или я что-то недопонял?

Можно конечно сделать фоновую выгрузку в Excel (благо уже есть механизм и скорее всего им и воспользуюсь). Вопрос ставился относительно отображения данных в TcxGridServerModeTableView, потому и выгрузка планировалась встроенным механизмом грида
...
Рейтинг: 0 / 0
06.12.2017, 16:13:58
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565226
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
В дополнение к предыдущему посту.
Сортировать и фильтровать он хотят по набору данных в гриде, потому о фильтрации и сортировке в самом запросе речь не стоит
...
Рейтинг: 0 / 0
06.12.2017, 16:15:59
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565231
вввУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вввУ
Гость
Леонов ЮрийВ дополнение к предыдущему посту.
Сортировать и фильтровать он хотят по набору данных в гриде, потому о фильтрации и сортировке в самом запросе речь не стоит
Да всё уже, не получится ничего. Если 2 страницы тебя отговаривают - никто тебе уже ничего не посоветует. Народная примета.
...
Рейтинг: 0 / 0
06.12.2017, 16:26:26
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565238
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
голосую: убить (С)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.12.2017, 16:33:09
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565245
s62
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s62
Участник
вввУЛеонов ЮрийВ дополнение к предыдущему посту.
Сортировать и фильтровать он хотят по набору данных в гриде, потому о фильтрации и сортировке в самом запросе речь не стоит
Да всё уже, не получится ничего. Если 2 страницы тебя отговаривают - никто тебе уже ничего не посоветует. Народная примета.Я могу посоветовать: сортировать и фильтровать запросами на сервере. Юзеры не обязаны понимать и, вполне вероятно, не понимают технических сторон вопроса, нужно (или можно) им сказать, что вот так для них будет хорошо. ))
...
Рейтинг: 0 / 0
06.12.2017, 16:48:29
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565253
вввК
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вввК
Гость
s62вввУпропущено...

Да всё уже, не получится ничего. Если 2 страницы тебя отговаривают - никто тебе уже ничего не посоветует. Народная примета.Я могу посоветовать: сортировать и фильтровать запросами на сервере. Юзеры не обязаны понимать и, вполне вероятно, не понимают технических сторон вопроса, нужно (или можно) им сказать, что вот так для них будет хорошо. ))
У тебя уже все признаки профдеформации - тебе пора либо в РосКосмос на работу, либо в больницу лечиться, либо на покой роботов собирать :)
...
Рейтинг: 0 / 0
06.12.2017, 16:56:32
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565263
s62
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s62
Участник
вввК,
пользователь вообще не знает, сортирует он данные на сервере или на клиенте. Он видит перед собой окно программы, фильтры и таблицу (грид). Ему нужно, чтобы можно было сортировать и фильтровать. А как оно устроено "в потрохах" - на сервере или клиенте, через SQL или LINQ, на Дельфи или на Java, вообще его не касается, лишь бы работало, как нужно.
...
Рейтинг: 0 / 0
06.12.2017, 17:06:19
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565266
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
вввУЛеонов ЮрийВ дополнение к предыдущему посту.
Сортировать и фильтровать он хотят по набору данных в гриде, потому о фильтрации и сортировке в самом запросе речь не стоит
Да всё уже, не получится ничего. Если 2 страницы тебя отговаривают - никто тебе уже ничего не посоветует. Народная примета.

Я писал про начальные условия, если вы не обратили на это свое внимание. Выше я уже согласился с JaDi по использованию обычного (не ServerMode) грида.

Всем спасибо за участие, буду копать. Если не сильно увлекусь копанием и не забуду, то обязательно в этой ветке отпишусь по результату.
...
Рейтинг: 0 / 0
06.12.2017, 17:09:56
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565405
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fd00ch
Участник
DimaBr Excel столько строк не вытянетвытянет. но какими компонентами ТС хочет в дельфях создать такой xlsx-файл и сколько памяти должно быть на клиенте? ну, если там не полтора числовых столбца, конечно
...
Рейтинг: 0 / 0
06.12.2017, 20:21:29
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565553
Прогер123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогер123
Гость
На мой взгляд имеет смысл рассмотреть промежуточный датасет(кэш), например:
http://www.aidaim.com/in-memory_sql_database_delphi.htm
...
Рейтинг: 0 / 0
07.12.2017, 09:10:10
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565554
Прогер123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прогер123
Гость
Прогер123На мой взгляд имеет смысл рассмотреть промежуточный датасет(кэш), например:
http://www.aidaim.com/in-memory_sql_database_delphi.htm

Если функционал сводится к чтению, то присовокупить производительный SSD
...
Рейтинг: 0 / 0
07.12.2017, 09:12:45
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565563
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
Леонов Юрийесть самописный компонент, потомок TdxServerModeDataSource. Сделан по аналогии с TdxServerModeADODataSource. Разница только в подключении к БДаналог KA18700? шож там тормозит 7 минут, сам доа?
...
Рейтинг: 0 / 0
07.12.2017, 09:28:53
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565595
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
vavanЛеонов Юрийесть самописный компонент, потомок TdxServerModeDataSource. Сделан по аналогии с TdxServerModeADODataSource. Разница только в подключении к БДаналог KA18700? шож там тормозит 7 минут, сам доа?
DOA сам по себе тормозной и жутко прожорливый по памяти
...
Рейтинг: 0 / 0
07.12.2017, 10:10:20
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565617
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
defecator, а у нас изрядная часть приложений к-е было в лом переводить на anydac так на нем и осталась, с какими-то моими примочками правда

непонятно на чем там у OP такие задержки, скорее думается на выполнении запроса ораклом. server mode впрочем никогда не юзал из-за ограничений, может и он что негативно так вносит
...
Рейтинг: 0 / 0
07.12.2017, 10:40:39
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565758
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
vavan,

перешел бы давно на UniDAC. Но проекту уже 7 лет, писало до меня человек 5.
Я предлагал руководству переписать с нуля и на других компонентах. Жмутся, типа времени много займет...
А клиент привередливый, но жирный... Вот и приходится изворачиваться
...
Рейтинг: 0 / 0
07.12.2017, 12:43:41
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565795
MirnyiAtom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MirnyiAtom
Гость
Леонов Юрий,

Мне кажется, вы немного не понимаете что вам тут объясняют.

При асинхронной загрузке в грид пользователю будет казаться что у него все данные, хотя на самом деле данные будут подгружаться по мере прокрутки.
При этом все фильтры и сортировки нужно выполнять на стороне сервера.

Выгружать в файл данные нужно не из грида, а запросом при помощи курсора, встали на запись в базе - записали строку в файл, встали на следующую - записали и т.д. Это упрощенно, конечно, потому что нужно не по одной записи таскать а порциями, разменивая скорость на память.
И эксель, желательно, формировать при помощи промежуточного тестового файла. Сформировали файл, открыли эксель, импортировали туда данные из промежуточного файла. Если перевалили за 1кк строк, можно разбивать по листам или еще чего делать. Или управлять этим делом на этапе формирования файла.

И вся эта кухня должна быть скрыта от пользователей, им будет казаться что они работают с полным набором данных. Это техническая реализация, пользователям она не интересна.
...
Рейтинг: 0 / 0
07.12.2017, 13:12:00
| Ответить | Цитировать | Написать  
ServerMode и несколько миллионов записей
    #39565883
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
MirnyiAtom,

тут ничем не поможешь: у человека все работает, просто медленно.

"Времени на глобальную переделку нет" (см. выше).

Остается дождаться, когда время реакции изменится с 7 минут на 30. Хотя, если клиент такое терпит, он и дальше терпеть будет.
...
Рейтинг: 0 / 0
07.12.2017, 14:28:23
| Ответить | Цитировать | Написать  
25 сообщений из 70, страница 2 из 3
  2  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / ServerMode и несколько миллионов записей
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39565263&tid=2041394]:
 0ms
get settings:
 7ms
get forum list:
 10ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 56ms
get topic data:
 6ms
get forum data:
 2ms
get page messages:
 41ms
get tp. blocked users:
 1ms
others: 242ms
total:  369ms
созд. / загр.: 369ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]