Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
День добрый! Вопрос к опытным кашеводам. Как лучше всего реализовать следующую схему (или хотя бы отдельные пункты): 1. Создать базу фиксированного размера, без возможности расширения. 2. Контролировать размер (%) заполнения базы 3. По мере заполнения базы, удалять существующие данные (т.е. по сути огранизовать непрерывный процесс перезаписи)? Данные простые (типа время/значение). Частота данных - ~50000 значений в секунду, поэтому перезапись должна быть эффективной. Работать должно 24/7/365 - т.е. варианты с периодической остановкой и очисткой базы не годятся. И еще вопрос: кто-нибудь измерял насколько сallin интерфейс быстрее использования VisM? И является ли реализация через Callin интерфейс самым эффективным решением такой задачи? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 08:44 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111День добрый! Вопрос к опытным кашеводам. Как лучше всего реализовать следующую схему (или хотя бы отдельные пункты): 1. Создать базу фиксированного размера, без возможности расширения. 2. Контролировать размер (%) заполнения базы 3. По мере заполнения базы, удалять существующие данные (т.е. по сути огранизовать непрерывный процесс перезаписи)? Данные простые (типа время/значение). Частота данных - ~50000 значений в секунду, поэтому перезапись должна быть эффективной. Работать должно 24/7/365 - т.е. варианты с периодической остановкой и очисткой базы не годятся. И еще вопрос: кто-нибудь измерял насколько сallin интерфейс быстрее использования VisM? И является ли реализация через Callin интерфейс самым эффективным решением такой задачи? у нас много лет работают в MSM и CACHE системы автоматической непрерывной круглосуточной регистрации грузов на транспорте вес записывается внизу глобала и сразу удаляется одна запись сверху - первая - наименьшая по номеру поэтому всегда в глобале 1000 строк это не совсем то что у Вас - но схема работает надежно пишет только если показание электронных весов отличаются от предыдущего - так гораздо компактнее VisM не используем - только MSM-activate - для совместимости MSM/CACHE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 09:04 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Спасибо за ответ! А Cache пере-использует место удаленных записей? Просто в нескольких темах читал, что после удаления все равно нужно еще каким-то образом базу паковать. Т.е. если я буду писать s ^A($H)=1 k ^A($H - 1 месяц) То база расширяться не будет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 11:13 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111Вопрос к опытным кашеводам. Как лучше всего реализовать следующую схему (или хотя бы отдельные пункты): 1. Создать базу фиксированного размера, без возможности расширения. 2. Контролировать размер (%) заполнения базы 3. По мере заполнения базы, удалять существующие данные (т.е. по сути огранизовать непрерывный процесс перезаписи)? Данные простые (типа время/значение). Частота данных - ~50000 значений в секунду, поэтому перезапись должна быть эффективной. Работать должно 24/7/365 - т.е. варианты с периодической остановкой и очисткой базы не годятся. Все это решается легко, не вижу проблемы. Но вот интересно, что же это за данные такие, если не секрет? Новый111 И еще вопрос: кто-нибудь измерял насколько сallin интерфейс быстрее использования VisM? И является ли реализация через Callin интерфейс самым эффективным решением такой задачи? Самым эффективным решением будет работа напрямую средствами COS, не надо навьючивать сюда ничего лишнего, Вы больше потеряете на обработку call'ов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 11:24 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111Спасибо за ответ! А Cache пере-использует место удаленных записей? Просто в нескольких темах читал, что после удаления все равно нужно еще каким-то образом базу паковать. Т.е. если я буду писать s ^A($H)=1 k ^A($H - 1 месяц) То база расширяться не будет? Речь шла о доступности удаленных данных, точно так же как в обычных файловых системах. Не рекомендовал бы использовать $H, там точность до секунды, а у Вас 50000 операций в секунду. Не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 11:29 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Sergei Obrastsov Все это решается легко, не вижу проблемы. Но вот интересно, что же это за данные такие, если не секрет? Данные с производственного оборудования (хим. промышленность). Sergei Obrastsov Самым эффективным решением будет работа напрямую средствами COS, не надо навьючивать сюда ничего лишнего, Вы больше потеряете на обработку call'ов. Протоколы для сбора данных уже написаны, их несколько (за много лет скопилось) и переписывать их на COS нереально. Поэтому задача стоит в наиболее эфективной записи данных из приложения, написанного на С++. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 11:34 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Sergei Obrastsov Речь шла о доступности удаленных данных, точно так же как в обычных файловых системах. Не рекомендовал бы использовать $H, там точность до секунды, а у Вас 50000 операций в секунду. Не будет. $H приведен просто для примера. 50000 операций не на одном глобале - разбросаны по 200-300 глобалам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 11:36 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111 Sergei Obrastsov Самым эффективным решением будет работа напрямую средствами COS, не надо навьючивать сюда ничего лишнего, Вы больше потеряете на обработку call'ов. Протоколы для сбора данных уже написаны, их несколько (за много лет скопилось) и переписывать их на COS нереально. Поэтому задача стоит в наиболее эфективной записи данных из приложения, написанного на С++. Да, это хуже. Тогда callin' конечно. Хотя я бы сливал в файл, а уже средствами Cache брал из него, чтобы не заморачиваться на связки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 12:07 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111 Sergei Obrastsov Речь шла о доступности удаленных данных, точно так же как в обычных файловых системах. Не рекомендовал бы использовать $H, там точность до секунды, а у Вас 50000 операций в секунду. Не будет. $H приведен просто для примера. 50000 операций не на одном глобале - разбросаны по 200-300 глобалам.А вот это неправильно, не надо глобали использовать как реляционные таблицы, неудобно это и неэффективно. При подаче 50000 данных в секунду у Вас винт протрется на блоках каталога и указателей. :) А ведь данные эти кому-то понадобятся, не зря же они пишутся. Так что над структурой данных следует серьезно задуматься. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 12:11 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Рекомендую обратиться с этими вопросами в офис InterSystems. Консультанты много раз успешно решали подобные задачи. Есть готовые примеры кода. Вот, например, достаточно старинная статья, но все равно там много полезного, - Оптимизация загрузки данных в Caché . Такие задачи, например, решаются и рядом наших американских партнеров, которые делают финансовые системы для Wall street. Сейчас в Cache' разрабатывается ряд новых возможностей для решения таких задач. Так что обращайтесь. Поможем! Вадим ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 19:07 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111 А Cache пере-использует место удаленных записей? Просто в нескольких темах читал, что после удаления все равно нужно еще каким-то образом базу паковать. Освободившееся после удаления место конечно же используется! Вы читали о том, что файл БД автоматически увеличивается, по мере заполнения данными, но файл сам не уменьшается, когда данные удаляются. Вадим ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2006, 19:09 |
|
||
|
перезапись данных
|
|||
|---|---|---|---|
|
#18+
Новый111 И еще вопрос: кто-нибудь измерял насколько сallin интерфейс быстрее использования VisM? И является ли реализация через Callin интерфейс самым эффективным решением такой задачи? Измерять измеряли, но цифры точные уже потеряны... Callin интерфейс для записи в базу ИМХО является самым быстрым, у нас сетевой трафик на лету расшифровывается и именно через Callin пишется в базу, быстрее мы ничего не придумали... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.01.2007, 17:19 |
|
||
|
|
start [/forum/topic.php?fid=39&tid=1559441]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
34ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
| others: | 262ms |
| total: | 374ms |
| 0 / 0 |
