|
|
|
SOS! SQS! База данных на SQL -> База данных без SQL !!!!
|
|||
|---|---|---|---|
|
#18+
В прошлую пятницу случилось страшное: Начальство приняло решение отказаться от использования СУРБД...... Было : Sybase ASA 8 Linux. Суточный рост размера БД - 3Gb (да! это не глюки - 3 Гигабайта) Пиковое число транзакций в сек - 40-60. Назначение БД - хранение логов за месяц. есть 8 хранимых процедур которые возвращают резалтсеты с числом полей до 30 [по каждому полю нужна возможность сортировки / фильтрации] А теперь внимание вопрос : КАК ЭТО СДЕЛАТЬ БЕЗ СУБД ????????????????? основная причина отказа от ASA - нестабильная работа под нагрузкой - падение сервака в течение суток [мах время жизни ~25 часов]. Sybase ASE & Oracle не катит в силу 2-х причин 1) начальство не любит БД 2) Начальство душит великий и могучий ЖАБА. Лично мне пока на ум ничего , кроме GREP по текстовым файлам........... Другие варианты плавно выодят на собственнй мини-sql-сервер....... Короче : Есть какне-нибудь мысли , по поводу того, как можно cделат такую вещь? Прнимаются любые варианты ...... даже самые бредовые ....... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2003, 13:32 |
|
||
|
SOS! SQS! База данных на SQL -> База данных без SQL !!!!
|
|||
|---|---|---|---|
|
#18+
Условия задачи 1) начальство не любит субд и 2) по каждому полю нужна возможность сортировки / фильтрации, видимо, противоречивы. Если победит первое - то конечно самоделка на перле, если второе - то Каше. Однопользовательский вариант - бесплатный. Для нее поставленные условия - семечки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2003, 13:56 |
|
||
|
SOS! SQS! База данных на SQL -> База данных без SQL !!!!
|
|||
|---|---|---|---|
|
#18+
>>>>Условия задачи >>>>1) начальство не любит субд и >>>>2) по каждому полю нужна возможность сортировки / фильтрации, видимо, >>>>противоречивы. Если победит первое - то конечно самоделка на перле, если >>>>второе - то Каше. Однопользовательский вариант - бесплатный. Для нее >>>>поставленные условия - семечки. Это очевидно. начальство всегда хочет скрестить ежа с ужом =) P.S. Самоделка на Perl не катит в силу 2х причин 1) производительность. 2) Будет необходимо взаимодействие с приложениями на java & c++ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2003, 14:16 |
|
||
|
SOS! SQS! База данных на SQL -> База данных без SQL !!!!
|
|||
|---|---|---|---|
|
#18+
1) производительность. 2) Будет необходимо взаимодействие с приложениями на java & c++ Не претендуя на решение вселенских проблем - какие еще требования должны быть удовлетворены, примерные характеристики - количество записей в результате, примерные применяемые операции (можно в терминах sql), характер конкурентного доступа, примерные ожидаемые программные интерфейсы и прочее. В фоновом режиме можно подумать... Желательно также объяснить начальству, что требуемая функциональность - это и есть то, для чего делаются системы управления базами данных. Вариантов тут на самом деле немного - написать реализацию некоего подмножества операций самим или использовать готовый движок. Но дело в том, что в итоге то, что получится, и будет системой управления базой данных. Также есть промежуточное решение - использовать свой движок преобразований, но построенный скажем на беркли дб, используя его как движок хранения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2003, 16:41 |
|
||
|
SOS! SQS! База данных на SQL -> База данных без SQL !!!!
|
|||
|---|---|---|---|
|
#18+
Чесно говоря, не совсем врубился в объяснения... путанные какие-то. Странное заявление (если не прав - поправьте): - РСУБД используется всего-лишь для накопления лога. - Объем большой. - Нагрузка средняя, или большая. - Начальство не любит БД. - Сервак дохлый. Подсистема хранения не менее 100 гигов + резерв (may be). Что тут можно сказать. 1. Задача не описана и можно грить о самых общих претензиях. Прошу учесть и описать задачу - ежели чего. 2. Если все сводится к простому логированию, можно предложить внимательно посмотреть на необходимость транзакционности. Мне лично нравиться ASA, но в данном бы случае я бы посоветовал mySQL. 3. Внимательно надо смотреть на план запросов и отчеты, если: - выгребается мало данных - надо не плодить их в сыром виде а вводить предобработку. На личном опыте - либо при вводе данных, либо подгрузка данных автоматом в другую БД (сжимая, и очищая их) может хорошо снизить время работы и нагрузку на СУБД. - много данных. Опять же делать хранилище (просто БД если кому не нравиться) с уже консолидированными данными. Плохие в целом отчеты. Хороший отчет не должен возвращать более 100 записей. Плохое проектирование системы и приучили начальство бог знает к чему. Большая нагрузка на сервер и много работы в холостую. 4. Если запросы хорошо параллеляться. Покупайте хорошую железку (хотя бы до 4 процов). Если не очень - 2 сервера: на ввод данных и на хранение отчетов. 5. При сложных запросах (план смотреть) в отчетах. Иногда хорошо подходит предварительная подготовка данных. Выводы: серьезно пересмотреть всю цепочки по проекту и серьезно ее переработать. Заменить по необходимости серверное оборудование. Ввести хранилища для отчетов, сменить сервер БД. В целом, совет: ASA очень хороший и мощный сервер СУБД, весьма надежный. Хотя любой продукт можно обос...ть, если так задачу поставить. Переделывайте софт господа. Руководство тут не причем - сами скорее всего виноваты... И оракл вам тут не поможет :) Приведу пример, у нас на ASE повесили логи инета. Гемора было.... Тоже было примерно такие же объемы и проблемы. Поставили на логи (файловые) некий фильтр вынудили руководство очерчить блее четкие вопросы к системе (круг вопросов) и начали складывать в СУБД уже предобработанные данные. Статистика копилась в другой БД опять же так получилось быстрее и надежнее. Все - об этой системе просто забыли... Отчеты во время, бэкапы - автоматом. Вот так. Надеюсь, что вы справитесь с этим, удачи :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2003, 17:19 |
|
||
|
|

start [/forum/moderation_log.php?user_name=Max9003]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
get settings: |
8ms |
get forum list: |
14ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
182ms |
get topic data: |
10ms |
get forum data: |
1ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
| others: | 1117ms |
| total: | 1433ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...