|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Дано: детальные данные, объем которых около 1млн. строк . Задача: формирование СводнойТаблицы по этим данным. Текущее решение: учитывая объем данных, данные лежат в локальной таблице Access и подключение СводнойТаблицы настроено на внешний источник данных. Производительность такого решения катострофина. Пересчет СводнойТаблицы занимает 5-10 минут. При этом, если скопировать исходные данные на Лист Excel и построить СводнуюТаблицу, время пересчета сокращается до 5-10 сек. Отсюда делается вывод, что проблемы с производительностью связаны с тем, что Excel-ю перед расчетом (и каждым ПЕРЕрасчетом?) СводнойТаблицы, приходится тащить весь объем исходных данных из внешнего источника, что и происходит ОЧЕНЬ долго. Вопрос: возможно ли настроить Excel так, чтобы любое изменение фильтра СводнойТаблицы не приводило к обращению во внешний истоник данных, а для перерасчета использовался КЕШ, в который данные уже вытащены во время последнего "обновления"? P.S. от внешнего источника не отказаться, поскольку в течение анализируемого периода, объем данных будет превышать 1 млн строк и в Excel их будет не запихнуть. P.P.S. использование других инструментов, по отпределенным причинам, невозможно. Т.е. только десктопные Майкрософтовские пакеты. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2014, 18:58 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Что за сводная? Может сделать представление, которое "сведет" все нужные данные SQL-запросом, а в экселе только отобразить результат? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2014, 19:16 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Vladimir Bolotin , Почитайте про PowerPivot ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 09:00 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Shocker.ProЧто за сводная? Может сделать представление, которое "сведет" все нужные данные SQL-запросом, а в экселе только отобразить результат? Это первое, о чем я подумал. Но пообщавшись с заказчиком, понял, что анализ заключается не только в просмотре/фильтрации результата, но и изменении детализации результата, что возможно лишь путем пересчета сводной таблицы. Например, по умолчанию, Сводная отражает платежи клиентов в детализации до Группы услуг, этого достаточно для первичного анализа. Если платежи резко меняются, относительно предыдущего периода, в раздел строк сводной таблицы добавляется поле Услуга и Сводная пересчитывается с детализацией до Услуги. И подобных модуляций заявляется большое количество. Я по-прежнему предполагаю попробовать продвинуться в этом направлении, но пока необходимость динамического анализа данных под сомнение поставить не смог. Поэтому думаю, в том числе, и о способе оптимизации производительности при применении функционала СводныхТаблиц. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 09:37 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
PoERVladimir Bolotin , Почитайте про PowerPivot Cпасибо, почитаю. Но пока это не применимо, ибо корпоративный стандарт - 2007 офис. Но, буду иметь в виду. Заодно уточню вопрос миграции на Офис 2013. НО, надо понимать, что все данные лежат на клиенте, т.е. речи про обращение к удаленной БД нет, и если преимущества PowerPivot в том, что он позволяется фильтрацию и расчет делать на стороне сервера, в моем случае это не поможет. Если же это более эффективный и производительный способ обработки данных на клиенте, тогда можно попробовать продвинуться в этом направлении. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 09:55 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Тем не менее, я бы смотрел в сторону обработки данных с помощью SQL. Все возможные варианты отчетов заложить в виде представлений, а эксель использовать только как генератор отчетов (если это требуется, а то и наделать форм на аксессе) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 10:25 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Или куб. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 10:51 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Vladimir Bolotin и если преимущества PowerPivot в том, что он позволяется фильтрацию и расчет делать на стороне сервера, Нет все данные загруженные в PP находятся в файле, все расчеты и вычисления по технологии "in memory" ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 15:50 |
|
Как контролировать обращения СводнойТаблицы к источнику данных?
|
|||
---|---|---|---|
#18+
Ещё вариант немного ускорить работу подобной сводной - хранение исходных данных в txt файле Excel к txt обращается намного быстрее чем к таблицам Access, за счёт того что не производится проверка и распознавание форматов данных ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2014, 22:41 |
|
|
start [/forum/topic.php?fid=61&msg=38597363&tid=2174154]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
50ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
others: | 314ms |
total: | 455ms |
0 / 0 |