Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Как правильно организовать хранение скриптов для анализа данных? / 13 сообщений из 13, страница 1 из 1
13.04.2009, 15:47
    #35928318
DZeus
DZeus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Здравствуйте уважаемые.

У меня есть MSSQL2008 и приложение разрабатываемое на .net3.5. Собственно приложение служит для проверки и анализа данных, после их импорта из внешних файлов. Проверка в данный момент организована с помощь хранимых процедур оперирующих данными из нескольких таблиц базы данных.
Проблема заключается в том что число хранимых процедур начинает достигать 100 и при изменении структуры таблиц очень сложно вносить в процедуры изменения.
Возникает вопрос как правильно было бы организовать хранение скриптов проверки, чтобы их редактирование доставляло минимальный дискомфорт? =))
Я задумался над перенесением скриптов непосредственно в файлы .sql в приложение, но пока не вижу способа работы с ними в приложении...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 17:25
    #35928632
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
DZeus,

А что Вас Коллега смущает? Как у Вас организован процесс регистрации кода, внедрения версий скриптов и их внедрение? Обычно если весь Ваш процесс установлен в MS .NET фреймворке - мы рекомендуем использовать TFS как наиболее удачный инструмент слежения за изменениями. Количество файлов не критично. Организация их обычно ведётся в формате проектов. В Проект включены все сегменты внедрения - GUI интерфейс, Business Logic Layer и Data Access Layer. Или я не правильно понял Вас... Всё компилируется и внедряется по мере регистрации кода. Процесс обычно полностью автоматизирован
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 17:38
    #35928679
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Вот пример дерева для внедрения:

- DatabaseScruipts

-- drop.databaseTest.script.sql
-- alter.databaseABC.script.sql
-- Alter.databaseBCD.script.sql
-- Create.databaseTEST1.script.sql

- ObjectScripts

- Table

-- drop.table1.script.sql
-- create.table2.script.sql
-- alter.table3.script.sql

- View

-- drop.view1.script.sql
-- create.vew2.script.sql
-- alter.view3.script.sql

- Data

-- insert.table2.script.sql
-- update.table3.script.sql
-- delete.table1.script.sql

- Index

-- create.IDX_TABLE2_COLUMN1.script.sql

- Function

-- drop.fn_function.Function.sql

И так далее.. Надеюсь логика ясна?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 17:49
    #35928724
DZeus
DZeus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Mr Marmelad

TFS для меня не доступен. Код приложения хранится с помощью VSS. А код процедур вообще пока никак не хранится (в смысле версий) и как я уже сказал банально реализован в виде stored procedure на сервере. В данный момент встал вопрос о том как правильнее организовать редактирование скриптов ибо страшно неудобно их изменять в виде хранимых процедур... =)

Что вы посоветуете?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 18:00
    #35928770
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
DZeus
Что вы посоветуете?

Коллега А что мешает сделать то же в VSS? Как хранятся Ваши Stored Procedures et al в VSS? Вы же их как то компилируете когда внедряете?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 18:08
    #35928797
DZeus
DZeus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Mr MarmeladDZeus
Что вы посоветуете?

Коллега А что мешает сделать то же в VSS? Как хранятся Ваши Stored Procedures et al в VSS? Вы же их как то компилируете когда внедряете?

А каком внедрении вы говорите, о внедрении готового продукта что ли, я не совсем понимаю вас?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 18:14
    #35928816
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Ответ получен - никак. Значит надо начать хранить все процедуры и скрипты в отдельном проекте VSS. назовите его SQL Server . Потом отскриптуйте Все ваши объекты в Базе Данных (продакшн). например способом описаным тут Или просто - из SSMS . Полученные скрипты разнесите в VSS

сделайте так:

- Database
- Data
- Keys
- Indexes
- Scripts
- Security
- StoredProcedures
- Tables
- Triggers
- Views
- Users
- UserDefinedFunctions


так у вас получится начало. Потом заготовьте темплайтс - на все случаи жизни и следите за исполнением изменений.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 18:45
    #35928871
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
DZeusА каком внедрении вы говорите, о внедрении готового продукта что ли, я не совсем понимаю вас?

Внедрение изменений сводится к перекомпилированию некоторых объектов базы: Может быть организовано генерированием одного скрипта из изменённых в VSS:

VSS
-- drop.table1.script.sql
-- create.table2.script.sql
-- insert.table2.script.sql
-- create.IDX_TABLE2_COLUMN1.index.sql
-- grant.user1.script.sql

В результате объединения этих скриптов Вы получите один скрипт для внедрения который удалит табличку Table1; создаст новую табличку table2; внесёт ваши данные; добавит индех; и даст доступ к таблице.



Внедрение готового продукта сводится к созданию базы, внесению всех объектов в нее и загрузки начальных данных. Обычно ещё и безопасность формируется. Но всё это делается одним скриптом который генерируется из VSS сшиванием новых версий изменённых скриптов в один. Как пример.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.04.2009, 18:55
    #35928890
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Здесь я привёл для Вас общий случай поддержки базы данных. Ваш частный случай ограничен только компилируемыми Stored Procedures ну и User Defined Functions. Эти объекты невозможно компилировать без самой базы. Значит у Вас должны быть (как то) организованы объекты Базы - ttables, views, users которые у вас Read Only. Но изменение в табличке влечёт обычно и изменение кода в viewes SP & UDF (компилируемых объектах). Только Ваш код будет ограничен

VSS
-- create.usp_myusp.StoredProcedure.sql
-- drop.usp_oldusp.StoredProcedure.sql
и так далее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.04.2009, 09:34
    #35929606
DZeus
DZeus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Mr Marmelad,

Спасибо за совет и за то что разжевали )) Идею понял, думаю что сделаю так как вы сказали.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.04.2009, 10:22
    #35929743
А6дуллаh
А6дуллаh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
Мармеладом описан кодерский подход.
Есть еще связанный с хранилищами данных, ETL-овский.
Процедуры обработки данных реализуются в каком-то туле, типа SSIS, лучше ориентированном на такие задачи. В результате получается более управляемый проект, лучше поддерживающий изменения. Поэтому и есть рынок ETL, что это следующий уровень изоляции сложности по сравнению с кодом/пакетами.

Местами помогает кодогенерация и метаданные.
Пишите ваши процедуры так, чтобы было по минимуму хардкода, а по максимуму извлечения метаданных (не только штатных SQL-серверовских, а можно делать и свои) и генерации DDL на лету на основании полученной из них информации.

Еще поиграйтесь с PowerDesigner, я вижу в реализованную в соседнем отделе вполне промышленную по нагрузке и функциям транзакционку, где модель БД и часть объектов разработки лежит в PD, .NET-код - в VS.
PD умеет отслеживать Impact изменений и накатывать изменения, сохраняя данные.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.04.2009, 11:44
    #35930101
DZeus
DZeus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
А6дуллаh,

И вам спасибо, но мне кажется что я сейчас не осилю ETL-овский подход, не дорос ещё, да в принципе и в масштабы проекта этот подход не совсем вписывается. За PowerDesigner надо всерьёз браться, тут просто поиграться не получиться наверное...
Но я мотаю на ус.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.04.2009, 16:19
    #35931147
Mr Marmelad
Mr Marmelad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как правильно организовать хранение скриптов для анализа данных?
А6дуллаhМармеладом описан кодерский подход.
*********************************
Еще поиграйтесь с PowerDesigner.

Мой подход описан с точки зрения MS Development Framework BP. PD в данной конфигурации станет пятым колесом. Правильно в описаной архитектуре следовать VSTS 2008 + TFS + SharePoint 2007. Вместо TFS предложена конфигурация VSS - именно из расчёта на эти данные рекомендации были произведены. Сам я предпочитаю PD - лучче тула я не видел. Но он не жалуем MS - centric командами.

Так что претензия не принята, Коллега - Мелкомягкому поклон.... :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Как правильно организовать хранение скриптов для анализа данных? / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 485ms
Закрыть
start [/forum/topic.php?fid=32&tablet=1&tid=1543308]:
 0ms
get settings:
 5ms
get forum list:
 13ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 166ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 41ms
get tp. blocked users:
 1ms
others: 244ms
total:  485ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]