ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / способы записи в таблицу историю
25 сообщений из 220, страница 8 из 9
  8  все
способы записи в таблицу историю
    #38780352
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
winsky!есть некоторые транз. данные, ну например продажи. могут добавлятся/менятся/удалятся.
нужно инкрементально апдейтить олап куб, т.е. скармливать ему на входе только дельту изменений. кто как решает подобную задачу?
Крайне неверно связывать датаварехаус с боевой базой. Нужно всегда понимать, что dwh - это процессинг на отложенных данных. Никакой прямой связи с оперативными данными. Никакой! За такие связи сразу на гиляку! :)
...
Рейтинг: 0 / 0
17.10.2014, 16:45
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780355
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
winsky!МСУпропущено...

Так а где сейчас крутишься?
у одного из наших крупных аутсорсеров. не хочу конкретно называть... проект - страшное уг. скучно.
Так ты в айти? Вроде ж распрощался с ним или снова за старое?
...
Рейтинг: 0 / 0
17.10.2014, 16:45
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780357
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
а какже наш любимый ROLAP для оперативной отчётности?
...
Рейтинг: 0 / 0
17.10.2014, 16:46
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780359
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
МСУАлексей Кпропущено...
Ну его съест чистильщик лога. :-)
Он съест неактуальные транзакции. А аткуальная всегда останится. Одна. Если одна, то нельзя есть! А если две? Первая отображается нормально, вторая без OldValue, потому что третья съедена. Такие дела...
...
Рейтинг: 0 / 0
17.10.2014, 16:47
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780360
winsky!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
winsky!
Участник
МСУwinsky!есть некоторые транз. данные, ну например продажи. могут добавлятся/менятся/удалятся.
нужно инкрементально апдейтить олап куб, т.е. скармливать ему на входе только дельту изменений. кто как решает подобную задачу?
Крайне неверно связывать датаварехаус с боевой базой. Нужно всегда понимать, что dwh - это процессинг на отложенных данных. Никакой прямой связи с оперативными данными. Никакой! За такие связи сразу на гиляку! :)
да. но если таки нужно получать данные в олапе оперативно, ну с отставанием в минуты. вот надо и все. как бустро получить слепок последних изменений. не зря ведь инкрементальный апдейт вообще есть..
...
Рейтинг: 0 / 0
17.10.2014, 16:47
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780361
winsky!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
winsky!
Участник
МСУwinsky!пропущено...

у одного из наших крупных аутсорсеров. не хочу конкретно называть... проект - страшное уг. скучно.
Так ты в айти? Вроде ж распрощался с ним или снова за старое?
куда я денусь. IT forever
...
Рейтинг: 0 / 0
17.10.2014, 16:48
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780363
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Konst_Oneа какже наш любимый ROLAP для оперативной отчётности?
Так роллап и так смотрит на боевую базу. Бери и радуйся.

Алексей КА если две? Первая отображается нормально, вторая без OldValue, потому что третья съедена. Такие дела...
Не понял тебя. Предыдущее значение - это та единственная транзакция с максимальной датой. Появится вторая транзакция, через неделю отвалится первая. И вторая будет первой. И единственной. Какие проблемы?
...
Рейтинг: 0 / 0
17.10.2014, 16:50
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780364
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
winsky!да. но если таки нужно получать данные в олапе оперативно, ну с отставанием в минуты. вот надо и все. как бустро получить слепок последних изменений. не зря ведь инкрементальный апдейт вообще есть..
В олапе? Оперативно? :)
...
Рейтинг: 0 / 0
17.10.2014, 16:50
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780366
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
winsky!куда я денусь. IT forever
А позиция? )
...
Рейтинг: 0 / 0
17.10.2014, 16:50
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780374
Andrey1306
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey1306
Участник
запутали совсем .......

дали бы посмотреть как вы сохраняете эти изменения.

А то что то я слабо представляю. например для MVC.

1. создал экземпляр какой то модели.
2. передал во вью, пользователь что то делал отправил обратно
3. сохраняю, вытягиваю из базы(контекста) таблицу куда писать буду, с модели проставляю значения полям потом context.SaveChanges();


где логировать начинать ?
где сравнивать старое с новым ?
копию модели данных создавать нужно ?

в триггере как понятней
Код: sql
1.
2.
3.
4.
if (update(Phone) and (@New_Phone<> @Old_Phone or (@Old_Phone is null and @New_Phone is not null) or (@New_Phone is null and @old_Phone is not null)))
BEGIN
insert into LogRequestFields (LogID,FieldName,OldValue,NewValue) values (@LogID,'Phone',@Old_Phone, @New_Phone)
END
...
Рейтинг: 0 / 0
17.10.2014, 16:56
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780375
winsky!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
winsky!
Участник
МСУwinsky!да. но если таки нужно получать данные в олапе оперативно, ну с отставанием в минуты. вот надо и все. как бустро получить слепок последних изменений. не зря ведь инкрементальный апдейт вообще есть..
В олапе? Оперативно? :)
например:
есть запись (sales)
добавили:
SomeKey, 10
потом поменяли
SomeKey, 20
потому удалили


если представить все изенения в виде 'лога'

SomeKey, 10
SomeKey, 10
SomeKye, -20
для инкрементально апдейта куба используется вот этот набор.
вопрос - кто каким способом формирует подобные наборы для инкрементального апдейта?
наверное этот вопрос нужно задавать в профильной ветке.

ЗЫ ROLAP - зла, поверьте.
...
Рейтинг: 0 / 0
17.10.2014, 16:56
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780378
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
МСУKonst_Oneа какже наш любимый ROLAP для оперативной отчётности?
Так роллап и так смотрит на боевую базу. Бери и радуйся.

Алексей КА если две? Первая отображается нормально, вторая без OldValue, потому что третья съедена. Такие дела...
Не понял тебя. Предыдущее значение - это та единственная транзакция с максимальной датой. Появится вторая транзакция, через неделю отвалится первая. И вторая будет первой. И единственной. Какие проблемы?OldValue в ПРЕДЫДУЩЕЙ!!!
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
select
    Value,
    (
        select top 1
            Value
        from Log l2
        where
            l2.DocID = l1.DocID and
            l2.LogDate < l1.LogDate
        order by l2.LogDate
    ) OldValue
from Log l1
where l1.LogDate between @From and @To
...
Рейтинг: 0 / 0
17.10.2014, 16:58
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780379
winsky!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
winsky!
Участник
МСУwinsky!да. но если таки нужно получать данные в олапе оперативно, ну с отставанием в минуты. вот надо и все. как бустро получить слепок последних изменений. не зря ведь инкрементальный апдейт вообще есть..
В олапе? Оперативно? :)
ага. вот вы не поверите. но у меня работает, ну не у меня уже, но продолжает работать система где макс. отставание - 10 минут. фактическая таблица - сотни миллионов записей :)
...
Рейтинг: 0 / 0
17.10.2014, 16:58
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780381
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
winsky!для инкрементально апдейта куба используется вот этот набор.
Я думаю такие задачи нужно решать только отложенно с большим временем синхронизации, скажем, сутки.

winsky!ЗЫ ROLAP - зла, поверьте.
Ну так ты по сути этого и просишь.
...
Рейтинг: 0 / 0
17.10.2014, 17:00
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780382
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
winsky!МСУпропущено...

В олапе? Оперативно? :)
например:
есть запись (sales)
добавили:
SomeKey, 10
потом поменяли
SomeKey, 20
потому удалили


если представить все изенения в виде 'лога'

SomeKey, 10
SomeKey, 10
SomeKye, -20
для инкрементально апдейта куба используется вот этот набор.
вопрос - кто каким способом формирует подобные наборы для инкрементального апдейта?
наверное этот вопрос нужно задавать в профильной ветке.

ЗЫ ROLAP - зла, поверьте.

согласен, вопросы лучше в олап-ветке. я уж давно с dwh не работал
...
Рейтинг: 0 / 0
17.10.2014, 17:01
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780383
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Алексей КOldValue в ПРЕДЫДУЩЕЙ!!!
Прошлая транзакция неудаляема. "Транзакция" - это и есть предыдущее значение. Самое свежее и актуальное.
...
Рейтинг: 0 / 0
17.10.2014, 17:01
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780386
winsky!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
winsky!
Участник
МСУwinsky!для инкрементально апдейта куба используется вот этот набор.
Я думаю такие задачи нужно решать только отложенно с большим временем синхронизации, скажем, сутки.

winsky!ЗЫ ROLAP - зла, поверьте.
Ну так ты по сути этого и просишь.
бизнес такой бизнес, говорит, не хочу сутки ждать. вот пришлось выкручиваться. я просто к чему, там просто наборы формировались именно триггерами.
...
Рейтинг: 0 / 0
17.10.2014, 17:03
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780390
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
winsky!МСУпропущено...

Я думаю такие задачи нужно решать только отложенно с большим временем синхронизации, скажем, сутки.

пропущено...

Ну так ты по сути этого и просишь.
бизнес такой бизнес, говорит, не хочу сутки ждать. вот пришлось выкручиваться. я просто к чему, там просто наборы формировались именно триггерами.

интересное решение. да, бизнес иногда отжигает. я помню нам как-то вообще пришлось rolap на oltp-базу настраивать, чтобы витрины для руководства выводить , благо всё было на оракле
...
Рейтинг: 0 / 0
17.10.2014, 17:06
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780401
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
МСУАлексей КOldValue в ПРЕДЫДУЩЕЙ!!!
Прошлая транзакция неудаляема. "Транзакция" - это и есть предыдущее значение. Самое свежее и актуальное.Ну я же захочу посмотреть всю историю транзакций по документу. В последней транзакции OldValue не будет.

NewValue OldValue1 22 33 44[удалено]
Отсортировано по LogDate в обратном порядке.
...
Рейтинг: 0 / 0
17.10.2014, 17:11
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780405
Andrey1306
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey1306
Участник
Алексей КМСУпропущено...

Прошлая транзакция неудаляема. "Транзакция" - это и есть предыдущее значение. Самое свежее и актуальное.Ну я же захочу посмотреть всю историю транзакций по документу. В последней транзакции OldValue не будет.

NewValue OldValue1 22 33 44[удалено]
Отсортировано по LogDate в обратном порядке.

а где NewValue[удалено] ??
...
Рейтинг: 0 / 0
17.10.2014, 17:15
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780407
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
Andrey1306Алексей Кпропущено...
Ну я же захочу посмотреть всю историю транзакций по документу. В последней транзакции OldValue не будет.

NewValue OldValue1 22 33 44[удалено]
Отсортировано по LogDate в обратном порядке.

а где NewValue[удалено] ?? sql
...
Рейтинг: 0 / 0
17.10.2014, 17:16
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780415
Andrey1306
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey1306
Участник
Алексей К,

Не понял ничего, наверно тяпница..... или неосилил


Не вижу в этом логе момент когда значение было, а потом удалили ....
...
Рейтинг: 0 / 0
17.10.2014, 17:23
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780419
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
Andrey1306Алексей К,

Не понял ничего, наверно тяпница..... или неосилил


Не вижу в этом логе момент когда значение было, а потом удалили ....NULL в OldValue будет вместо 'удалено', если вопрос в этом.
...
Рейтинг: 0 / 0
17.10.2014, 17:35
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780460
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
winsky!а кто-то с datawarehouse-ами работал?
я
...
Рейтинг: 0 / 0
17.10.2014, 18:20
| Ответить | Цитировать | Написать  
способы записи в таблицу историю
    #38780537
Andrey1306
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey1306
Участник
Алексей КAndrey1306Алексей К,

Не понял ничего, наверно тяпница..... или неосилил


Не вижу в этом логе момент когда значение было, а потом удалили ....NULL в OldValue будет вместо 'удалено', если вопрос в этом.

А должен быть в NewValue !!!
...
Рейтинг: 0 / 0
17.10.2014, 20:22
| Ответить | Цитировать | Написать  
25 сообщений из 220, страница 8 из 9
  8  все
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / способы записи в таблицу историю
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]