|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
Добрый день! Обращаюсь к вам, как новичок в мире БД, с надеждой понять направление движения. Специфика моей работы подразумевает составление отчетности по огромным ежедневным выгрузкам за большие сроки, а именно: xlsx таблицы на 300+ тыс. строк, 50+ столбцов. Каждый день данные меняются (какие-то строки уходят совсем, добавляются новые, в старых меняются некоторые значения. Один из столбцов - уникальное поле ИД), появляется новый файл выгрузки каждый день. Периодически возникает надобность проследить изменения определенных ИДшек (50+тыс. штук) полугодовой давности по сегодняшний день. На сегодняшний день это реализовано так: 1) Открываем выгрузку за самую первую дату 2) Открываем выгрузку за вторую 3) ВПР в Экселе второй выгрузки к первой, смотрим, кто пропал, записываем 4) Закрываем первую, открываем третью 5) см. п.3 Такой вот цикл Поскольку каждая выгрузка весит 150+МБ, а машины стоят 2хядерные селероны с 2гб оперативы, работа отдела такой задачей парализуется почти на неделю бесконечных открываний,ВПРов,закрываний,сохранений. Есть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2014, 08:46 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkeeЕсть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно. Если выгрузка идет с MS SQL, то можно использовать MS Access как клиент для MS SQL. Т.е. данные и выборка происходят на сервере MS SQL, а результат можно смотреть в MS Access. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2014, 11:33 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkeeЕсть мысли перенести все выгрузки в Access А нет мысли завязать с выгрузками и работать непосредственно с их источником?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2014, 12:18 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
http://www.sql.ru/forum/olap-dwh для такого режима работы придуман. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2014, 17:44 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
mad_nazgul Если выгрузка идет с MS SQL, то можно использовать MS Access как клиент для MS SQL. Т.е. данные и выборка происходят на сервере MS SQL, а результат можно смотреть в MS Access. Выгрузка идет из Siebel (Oracle), к сожалению Dimitry SibiryakovА нет мысли завязать с выгрузками и работать непосредственно с их источником?.. К сожалению - нет. Контора у меня с серьезной политикой безопасности, меня к самой базе не пустят. Я могу заказывать отчеты, которые мне необходимы, но реализуют их 1,5 айтишника очень долго и не с первого раза корректно. Примерный срок изготовления отчета или любой доработки к нему 2+ недели. А вид требуемого отчета меняется быстрее, чем кролики *********. SERG1257 http://www.sql.ru/forum/olap-dwh для такого режима работы придуман. Спасибо, сейчас погляжу что там к чему. Буквально пара вопросов: 1) Он бесплатен? 2) Реален для освоения чайником? Кстати, слышал, что в Аксессе ограничение на БД = 2ГБ, так ли это? И реально ли как-то хранить базы больше? Я так понимаю, разбивая на разные базы? Не повлияет ли это на работоспособность? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 06:50 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkee, два совета: -не связывайся с Access -ом. -наймите специалиста. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 07:58 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkee Спасибо, сейчас погляжу что там к чему. Буквально пара вопросов: 1) Он бесплатен? 2) Реален для освоения чайником? на оба вопроса ответ "нет". про безопасность: увольняйся (не шутка). ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 08:04 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkee, Можем предложить : У нас разработан Виртуальный многомерный EXCEL интегрируемый в noSQL базу данных Ему все равно сколько миллионов строк и столбцов Конечно надо прописать спец формулы в ячейках Но эффект - скорость и обьемы Отображается в виде двумерных сечений на обычный EXCEL =========== sia.enters@inbox.lv ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 09:13 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkeeКонтора у меня с серьезной политикой безопасности, меня к самой базе не пустят. Я могу заказывать отчеты, которые мне необходимы, но реализуют их 1,5 айтишника очень долго и не с первого раза корректно. Примерный срок изготовления отчета или любой доработки к нему 2+ недели. Эта политика безопасности обходится служебной запиской типа "для нормального функционирования отдела и оперативного выполнения им своих обязанностей необходим прямой доступ на чтение таких-то и таких-то данных из основной БД предприятия или создание реплики этих данных в отдельной БД отдела". При резолюции "отклонить" - увольнение, как и сказал MasterZiv. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 11:10 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkeeДобрый день! Поскольку каждая выгрузка весит 150+МБ, а машины стоят 2хядерные селероны с 2гб оперативы, работа отдела такой задачей парализуется почти на неделю бесконечных открываний,ВПРов,закрываний,сохранений. Есть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно. В свое время (лет 7 назад) на подобной машине я крутил локальное хранилище данных в Access 2003 для подобных задач - ежедневная выгрузка оборотно-сальдовой и потом всякие аггрегаты, отчеты и пр. Access 2003 использовался только для хранения данных, морда была разработана в Excel VBA - не выношу на дух Access'овские формы и VBA там какой-то извращенный. Более того, при таком подходе, можно даже не устанавливать Access (читай "не переплачивать за него"), так как JET провайдер это часть Windows начиная с XP (SP 2 или 3, не помню точно). так вот, объемы были такими же (150-300 мб). я делал так: 1) Каждая выгрузка делалась в отдельную базу. Причины - быстродействие, ограничения на размер базы, сохранность данных (если одна база сломается, другие не пострадают), легкость архивирования (например, если данные за позапрошлый месяц не нужны, соответвующие базы легко отправляются в RAR/ZIP). При выгрузке данные очищались, и т.п. Также, можно было писать запросы к разным физическим базам одновременно для доп. проверки, т.к. JET SQL поддерживает такой синтаксис. 2) после выгрузки рассчитывались аггрегаты и вставлялись в отдельную мастер-базу. Так как аггрегаты занимают меньше места, то все ОК. все работало вполне быстро и надежно. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 15:48 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkee Спасибо, сейчас погляжу что там к чемуЭто не какой-либо конкретный продукт, это тип базы "только для чтения" в которой обновления происходят только по таймеру и из других баз. Соответственно оно состоит из 1 самой базы (собственно datawarehouse) 2 скриптов/расписаний/джобов для заливки (aka ETL) 3 интерфейса пользователя. https://ru.wikipedia.org/wiki/OLAP scaRJkee 1) Он бесплатен?Business Intelligence бесплатным не может быть по определению (солидная фирма возьмет в аренду дырокол (с) анекдот) scaRJkee 2) Реален для освоения чайником?Никто не рождался с этим в голове. ВСЕ когда-то были чайниками. Это вопрос мотивации и затраченных усилий. По сабжу: крайне не рекомендую Access, разве что только для начальных опытов, построения модели, ибо боюсь рано или поздно вы упретесь в какое нибудь ограничение и сделать будет уже ничего нельзя ибо продукт для этого не предназначен. scaRJkee Контора у меня с серьезной политикой безопасности а машины стоят 2хядерные селероны с 2гб оперативы реализуют их 1,5 айтишника очень долго и не с первого раза корректноЭто все лирика никак не относящаяся к делу ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 17:50 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
scaRJkee, Добрый день. Для ваших задач хватит и MS Access (если идет об объемах 300+ тыс. строк, 50+ столбцов). Приблизительно на MS Access можно использовать до 2М строк (однако от принципов построения хранилища DWH никуда не денетесь). Ставите вопрос, далее моделируете на него ответы. Главное здесь, это не делать всяких форм в MS Access, что бы потом легко перенести на другую СУБД. Сроки проектирования и развертывания проекта ну скажем месяц (это без опыта проектирования), при условии что вы знаете: SQL. Как выход на первое время самое то. Пример тут (вместе с данными + видео урок отдельно как все это работает). http://www.biwed.ru/index.php/access/3-excel-access Далее как правильно заметили коллеги, это переход на OLAP + DWH + ELT. Ну это на перспективу. Там и выгрузки, скрипты и проектирование БД. Объемы там довольно большие и зависят от возможностей СУБД. Это дело совсем не быстрое. Если оценочно, то пол годика (где-то столько заняло у меня проектирование первого нормального проекта на Pentaho). Если бесплатно, то можно и на Pentaho все сделать. Пример тут (данные + видео) http://www.biwed.ru/index.php/pentaho На счет конторы, то менять надо если есть возможность. Ваши программисты расти не будут. Им не нужны отчеты, как и ваши данные. Развертывание систем BI это прежде всего работа IT специалистов. Так что выходит либо самому становиться спецом в BI или либо уходить с конторы. PS. Business Intelligence может быть бесплатным, только получите ограниченную функциональность, малое количество специалистов на поддержку и потратите огромное количество времени на разработку. Из бесплатных BI систем можно назвать Pentaho или Palo. А если по честному, то лучше нанять специалистов (встает проблема поиска специалистов), которые и запилят вам BI. С уважением, biwed.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
28.10.2014, 03:58 |
|
Организация огромной БД для 1 пользователя. Хватит ли MS Access?
|
|||
---|---|---|---|
#18+
biwed.ru, Прям в точку. Сам через все описанное прошел - Access -> SQL Server + SSIS + SSAS. Естественно в новой компании. Но Access дал хорошую базу для основ DWH и BI. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.10.2014, 14:14 |
|
|
start [/forum/topic.php?fid=35&msg=38782458&tid=1552357]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
124ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 248ms |
0 / 0 |