МСУЗа миллион позиций в SOA расстреливаем на месте

ну миллион это немного :-) Если предварительно архивировать данные

ИзопропилArm79Если предварительно архивировать
архивировать или агрегировать?

архивировать. я лично прайсами особо не занимался, но из тех, что мне попадали в руки я не понимаю, что там можно агрегировать с большим выигрышем в объемах.

а миллион записей в архивированном состоянии - это около 50 Мб имхо (учитывая, что текст хорошо архивируется). В WCF есть стриминг, который отлично работает на таких объемах. Да и на гораздо больших.

МСУМиллион - это неимоверно много

Кому как :-)

Алексей КПоэтому нужно фильтровать. Возвращать то, что он хочет увидеть в данный момент на экране

Например, историю минутных тиков хотя бы за последние 3 месяца

Алексей КСмотря какой размер записи.
я прикидывал из расчета 200 байт на запись

Алексей КЛучше секундных...пользователи не в счёт
Это типа мы такое козлы?

Для того, чтобы это утверждать, нужно хоть немного понимать трейдинг. Пользователи с удовольствием бы брали историю и за несколько лет, а это, на минуточку, около 200 млн записей.

Для теханализа данных много не бывает.

Алексей КБыло бы чего там понимать...
ну-ну :-)

Алексей КВидимо пользователям нужна какая-то статистика а не первичная информация. Тренды там, или ещё что...
это и есть статистика. аггрегированная информация за минутный интервал

Алексей КНу выкладывайте им файлы на FTP, пусть качают.
а низзя.

Алексей КЭто типа способ заработать больше денег.
это типа функциональность для продвинутых клиентов. кто не хочет, тот не пользуется

Алексей КЕсли прямо-таки хочется гонять большие объёмы через SOA - в WCF есть поддержка Stream .
Я в курсе, и об этом говорил ( 13662237 ).

МСУ1. Как ты себе представляешь оператора, который вручную ковыряется в документе из миллионов записей?
2. Не вопрос - я возвращаю тебе эту историю с учетом пейджинга . Слыхал о таком?


1) Почему оператор? :-))) я говорил, что миллион записей - это немного, но не говорил, что это для ручной обработки. Кстати, знаю случаи, когда оператор обрабатывал прайсы с десятками тысяч позиций. В Excel.

2) Товарищ, я в курсе пейджинга. Но для математических статистических функций на множестве пейджинг неприменим.

МСУим нужны аггрегаты.

МСУ, хоть я и уважаю ваши знания, но огульно критиковать неизвестную вам архитектуру, работающую в режиме онлайн для нескольких тысяч онлайн-клиентов, получающих информацию несколько раз в секунду, вам не советую. Непрофессионально как то.

те агрегаты, которые можно предварительно рассчитать, они и рассчитываются. Но, к сожалению, пользователь может эти агрегаты считать с любого места

Алексей КНу а почему тогда FTP "нельзя"?

Потому что программа должна работать везде, включая работу за NAT/firewall. И отнюдь не везде включают FTP.

В любом случае, к нашему счастью, таких запросов бывает немного в месяц. Мы кэшируем эти данные на клиенте. Переполучают полный срез данных только новые клиенты или те, кто умудрился грохнуть базу со старыми данными

Изопропил,

кто говорил, что страшно? просто на каждый файлик уходит около пары часов, а таких файликов около 80 в неделю.

Алексей КПо HTTP файлы передавать тоже можно.
И? В чем смысл-то гонять большие объемы текста по HTTP? Зачем плодить лишние сущности и гемморой?

Алексей К,

Нельзя :) Просто нельзя :-)

Во-первых, я не говорил, что у нас WCF Stream.
Во-вторых, пользователи не умеют ничего делать вручную. Это аксиома для нас. Да, огромная масса пользователей вполне в состоянии справиться с этим. Но не менее огромная не хочет/может ничего настаривать. Им нужно коробочное решение.