Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1С-ники, нужен совет.... / 25 сообщений из 30, страница 1 из 2
23.07.2003, 12:34
    #32215430
Alfa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Хотим сделать демо версию кубиков (на MS-olap) для данных 1С (ms sql-версия), что бы так сказать показать возможности OLAP.
Соответсвенно стал вопрос о выгрузке данных. Я говорю, что нужно разобраться в таблицах sql, кто за что отвечает, какие связи и с помощью DTS перегрузки делать. Специалисты 1С запищали, что в той структуре разобраться невозможно! (во всяком случае уйдет много времени). И предложили делать выгрузку отчетов в Excel и потом из Excel закачивать в хранилище. Мне же это кажется неразумно.
Скажите так ли сложно разобраться в самой базе 1C, и должен ли по идее это уметь специалист 1С?
...
Рейтинг: 0 / 0
23.07.2003, 12:41
    #32215442
dionis_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Если деньги нужны, то специалист 1С должен уметь разбираться и в базе. А вы давно с 1С?
...
Рейтинг: 0 / 0
23.07.2003, 12:51
    #32215469
Alfa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
с 1 С давно. Недавно перешли на sql версию. Правда я к 1С никакого отношения не имею.
...
Рейтинг: 0 / 0
23.07.2003, 12:56
    #32215484
dionis_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Короче, разобраться можно. Струтура в файле 1cv7.dds. Но времени потратить придется.
...
Рейтинг: 0 / 0
23.07.2003, 13:16
    #32215545
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
To Alfa:

Скажите так ли сложно разобраться в самой базе 1C, и должен ли по идее это уметь специалист 1С?

Хотя таблички и поля 1С выглядят неприветливо, разобраться в них не так сложно. По крайней мере у меня это проблем не вызвало. Проблемы у Вас возникнут, когда Вы попытаетесь создавать содержательные кубы на основе 1С - MS AS не умеет делать запросы к сложной структуре БД, и Вам придется вручную писать вьюшки в БД MS SQL. Так что советую поюзать ознакомительную версию Cognos - и через 2-3 часа после инсталляции у Вас уже будут первые кубы и красивые отчеты на основе 1С.
...
Рейтинг: 0 / 0
23.07.2003, 13:26
    #32215573
lubimov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Не надо в них разбираться.
Посмотрите ниже тему "Раздача слонов" - это хорошо документированное решение для OLAP по данным 1С, сделанное штатными средствами. Придется писать на 1С-ике, но это все 1С-ники умеют.
...
Рейтинг: 0 / 0
23.07.2003, 14:43
    #32215745
Alfa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Спасибо за советы, думаю, будем разбираться со структурой...
...
Рейтинг: 0 / 0
23.07.2003, 17:33
    #32216104
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Можно не разбираться, а взять готовое.
www.ivn.newmail.ru
...
Рейтинг: 0 / 0
24.07.2003, 01:22
    #32216365
Ruban Igor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Очень рекомендую ddsview - просмотрщик словаря метаданных 1С.
найти его можно http://www.burga.kuban.ru/ddsview.html
Но лучше заказать парудневный тренинг у Владамира Иванова.
Поверь оно стоит того. Сам прошел. Не жалею.
Если ты с Украины, могу такой тренинг сам провести.
docent@skif.com.ua
...
Рейтинг: 0 / 0
24.07.2003, 13:54
    #32216914
Gor
Gor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Хотелось бы пройти треннинг, но есть несколько вопросов.
Сколько стоит, сколько длится по времени, можно ли ознакомится с программой занятия?
...
Рейтинг: 0 / 0
24.07.2003, 15:06
    #32217100
Alfa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
to Ruban Igor:
ddsview нам понравился. Спасибо, очень своевременное предложение.
...
Рейтинг: 0 / 0
24.07.2003, 16:03
    #32217204
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Насчет треннинга лучше в мыло ivanov-soft@inbox.ru
...
Рейтинг: 0 / 0
25.07.2003, 16:04
    #32218485
Максим Мамаев
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Я могу посоветовать использовать нашу разработку Adelite:ETL,которая анализирует метаданные 1С и строит хранилище данных, в котором и таблицы и поля имеют те же названия что и объекты 1с. Наша программа также выгружает перечисления, выгружает подчиненные справочники в виде дополнительного уровня в родительском справочнике, делает преобразования данных и многое другое.
...
Рейтинг: 0 / 0
25.07.2003, 16:24
    #32218517
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
К слову, Mad Maxx. Если можно поясни вот какие моменты.
Обычно для построения OLAP-отчетности для 1С достаточно сделать 2-5 относительно сложных view на регистры и проводки, и примерно 10-20 фактически одинаковых view на справочники.
Написать view на справочники из 2х строк не сможет только полный идиот.
Сделать view вынимающие фактом можно в готовом виде только для стандартных конфигураций, но для этого "генератор" не нужен. У клиентов в нише "1С + SQL" обычно несколько разных баз и в разной структуре, плюс свои заморочки. Поэтому приходится делать довольно сложный SQL-запрос для вытягивания данных. Сгенерировать его автоматом для реальных систем фактически невозможно. Еще более сложно сопровождать такой генерированный запрос. Если это view, то даже в самых сложных случаях можно проблему победить через SQL-запрос.
Например, мой клиент производящий "Помарин" и прочую косметику (АленМак) столкнулся с проблемой разной структуры номенклатуры в своих конфигурациях. 1 час отладки и удалось склеить номенклатуры с разными деревьями.
Делать хранилища для такой простой системы как 1С, на мой взгляд в большинстве случае неправдано. Только тормоза добавляет.
На мой взгляд, генератор SQL-запросов может быть полезен корп. разработчикам, которые не состоянии сделать простейший select ... from и не желают повышать свою квалификацию в SQL.
Но много ли таких? Мне кажется нет, корп. разработчики не идиоты, в это я точно верю.
...
Рейтинг: 0 / 0
25.07.2003, 17:39
    #32218564
Rubik
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
2 Владимир Иванов

Не согласен, что делать хранилища для такой простой системы как 1С, в большинстве случае неоправданно.
Как правило, большинство компаний сворачивают периодически базу в силу невозможности ее использования с большими объемом данных. Когда требуется полный процессинг куба приходит на помощь хранилище данных.
Также хранилище данных удобно использовать, если в компании используется много разных по своей природе конфигураций. Объединять их через представления можно, но громоздко и неэффективно.
Время чистого процессинга из хранилища тоже гораздо меньше, чем через представления, так как индексы на таблицах работают эфеективней, чем indexed view.
...
Рейтинг: 0 / 0
25.07.2003, 17:56
    #32218578
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Я говорил именно про большиство случаев.
Примерно в 30% я делаю для 1С DWH. Это нужно в том случае, если данные можно собрать в несколько проходов.
Процессинг через DWH сильно уступает по скорости view.
Во-первых, MS SQL обязан закомитить данную большую транзакцию. Это не быстро. Можно конечно, применить bulk insert, он работает на 20% быстрее. Но в задачах, которые мы обсуждаем частно нужно делать update DWH.
Во-вторых, если повесить много индексов на DWH время его создания еще больше упадет, т.к. индексы MS SQL надо перестраивать.

Для примера тесты из жизни. view с union для откачки данных из 2х конфигураций. Выполнение запроса на процессинге - 20 сек.
Тоже самое через DWH, запрос идет 12 сек, но подготовка DWH занимает 50 сек.

В принципе я считаю, раз начал возится с DWH стоит сразу сделать инкрементальную подкачку. Вот это действительно убыстрение и десятки, если не в сотни раз.
Но Mad Maxx этого не предлагает...
...
Рейтинг: 0 / 0
25.07.2003, 18:25
    #32218605
Rubik
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
"...Для примера тесты из жизни. view с union для откачки данных из 2х конфигураций. Выполнение запроса на процессинге - 20 сек.
Тоже самое через DWH, запрос идет 12 сек, но подготовка DWH занимает 50 сек."

что то с цифрами не клеится . как может DWH строится дольше , чем запрос на процессинге. на процессинге запрос обычно похожий, но всегда сложнее, чем при построении DWH, так как в запросе участвуют еще таблицы измерений.
я могу привести примеры, когда при переводе на DWH общая скорость процессинга(построение + процессинг кубов) увеличивалась в 5-10 раз, и это еще без использования индексов.

по 1С еще есть одна особенность: если надо отпроцессить через представление в течении рабочего дня, то пользователи курят. Происходит это практически всегда , так как используется таблица 1СЖурнал, которая на всех одна. Как то ускорить время процессинга через построение дополнительных индексов на таблицах 1С не получится. Почему? Потому что Боря Нуралиев против.
с DWH проще. Забрал быстро необходимые тебе данные, а потом может хоть сутками выполнять сложные и не очень вычисления для таблицы фактов.
...
Рейтинг: 0 / 0
25.07.2003, 19:11
    #32218622
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
DWH всегда строится медленней, чем аналогичный линейный запрос, т.к. результаты надо записывать на диск и не просто записывать, а через лог.
Потом, до 100 тыс. записей MS SQL фактически не нуждается в индексах. Очень быстро работает система виртуальных hash-индексов. Посмотрите Query Plan.
С блокировками замечание верное, но режимы изоляции транзакций на то в MS SQL и есть. Хотя бы банальный nolock. Если не использовать накопительные регистры 1С, можно читать в d. read и фантомы не появятся.

Единственная глобальная проблема со view, это то, что оптимайзер MS SQL теряет контекст обращения к primary key связанных таблиц в случае использования union. Это обходимо, но нужен опыт.

Вообще говоря. При типичном звездо-подобном запросе MS SQL нужны только primary key, они в 1С есть. Использование FK дает выгоду только на фильтрации, т.е. в случае использования Drill Though. Вот это действительно аргумент в пользу DWH.

Давайте я резюмирую и закончу это обсуждение.
Базы 1С крохотные для MS SQL это надо понять и не заниматься оптимизацией на пустом месте. 1С это даже не Axapta.
Штатная оптимизация SQL-запросов под view обычно решает все проблемы. Иногда DWH полезен, но в стандартных конфигурациях 1С он не нужен. Если введен DWH, нужно запускать инкр. подкачку и Drill Through.
...
Рейтинг: 0 / 0
28.07.2003, 12:05
    #32219356
lubimov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Из виденных и развинченных мной учетных систем (1C, Navision, Axapta, несколько CRM) у 1С - самая сложная структура БД.
Чтобы для решения банальной в общем-то задачи не требовалось решение ребусов и IQ>140, лучший способ - промежуточное хранилище и выгрузка, написанная на языке 1С.

http://www.1bi.ru/attolap.html
- внизу есть download вполне рабочего продукта с документацией, почитав код и доку которого, любой 1С-программист сможет получить результат.
...
Рейтинг: 0 / 0
28.07.2003, 12:07
    #32219358
lubimov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
кстати, для локальной версии 8.0 такой подход будет,скорее всего единственным
...
Рейтинг: 0 / 0
28.07.2003, 12:36
    #32219392
Ruban Igor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
А зачем Израилю коммунизм?
В смысле я не встречал клиентов, у которых однопользовательская версия 1С и потребность в OLAP. OLAP как правило требуется тем, у кого большие объемы данных для анализа, т.е. сетевая версия.
...
Рейтинг: 0 / 0
28.07.2003, 12:50
    #32219406
Дядя Федор
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
2 Ruban Igor

Сетевая <> SQL. Это типа раз.

Кролики - это не только ценный мех... А OLAP применим не только при больших объемах информации (Ибо анализ с помощью OLAP удобен ). Это типа два.

Вот.
...
Рейтинг: 0 / 0
28.07.2003, 13:46
    #32219480
lubimov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
А еще, а еще.... в 8.0 есть аналог MS OWC PivotTable, который резко снизит потребность среднего клиента в OLAP
...
Рейтинг: 0 / 0
28.07.2003, 22:22
    #32220008
Ruban Igor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Дядя Федор: Спасибо, уточнил.
К стати, что такое ОЛАП, я впервые узнал от тебя. Ты должен помнить 2001 год, июль, г.Харьков, тусовка 1С - ников в гостях у фирмы Теллур.
Я был в составе киевской команды (я + Тот + Гари).
Огромное тебе спасибо!
...
Рейтинг: 0 / 0
29.07.2003, 12:08
    #32220438
Дядя Федор
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1С-ники, нужен совет....
Помню, товарищч Доцент, помню... я тебя сразу узнал
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1С-ники, нужен совет.... / 25 сообщений из 30, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]