ReSQL.ru
     
powered by simpleCommunicator - 2.0.46     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WCF, Web Services, Remoting [игнор отключен] [закрыт для гостей] / Подскажите какую технологияю использовать для задачи
14 сообщений из 39, страница 2 из 2
  2  все
Подскажите какую технологияю использовать для задачи
    #38318391
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
МСУAlexander_fxp.s. что странно - форум WCF, Web Services, Remoting и ни одного совета по данным технологиям
WCF, Web Services, Remoting - это транспорт, а не алгоритмы хранения больших объемов данных.

P.S. Итого, у тебя есть 30 млн строк, которые ты как-то пересчитываешь, в результате чего появляется некий объект в 1Гб. Так? Что из себя представляет этот объект, это просто обычный список или какой-то сложный xml и т.п.? Почему бы такой же уже отработанный список не загнать обратно в DWH? И все запросы будут идти туда.

я выше в коде показал примерную структуру объекта
много полей и несколько внутренних вложений других классов
тесть не что то линейное типа списка битмапок а что то типа днк -длинное и с несколькими ответвлениями

я не против DWH - но не представляю как можно использовать DWH без сериализации
а сериализация такого рода обьекта займет время сопоставимое а то и больше чем первоначальный парсинг
...
Рейтинг: 0 / 0
03.07.2013, 11:54
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38318627
Фотография buser
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
buser
Участник
Alexander_fx, так что это за задача? Для чего этот цирк? Это гис или что это?
...
Рейтинг: 0 / 0
03.07.2013, 13:36
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38318750
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
buserAlexander_fx, так что это за задача? Для чего этот цирк? Это гис или что это?

а что измениться от типа задачи?
вроде вводные данные описаны - даже дан код
даже тот же mssql держит результаты последних запросов в памяти чтобы не считывать данные с диска заново.
вопрос в том можно ли это делать между различными приложениями на одном компе.
...
Рейтинг: 0 / 0
03.07.2013, 14:18
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38319459
Фотография buser
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
buser
Участник
ну держит он не результаты запросов... вопрос был задан в контексте "а с того ли конца заходим?" У на кешируется на winsvc и раздается клиентам...
...
Рейтинг: 0 / 0
03.07.2013, 18:57
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38319703
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander_fxя выше в коде показал примерную структуру объекта
много полей и несколько внутренних вложений других классов
тесть не что то линейное типа списка битмапок а что то типа днк -длинное и с несколькими ответвлениями

я не против DWH - но не представляю как можно использовать DWH без сериализации
а сериализация такого рода обьекта займет время сопоставимое а то и больше чем первоначальный парсинг
Ну так и свопься в реляционную DWH. Грамотно настрой индексы. И забирай объект честным sql запросом.
...
Рейтинг: 0 / 0
03.07.2013, 22:48
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38319721
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
МСУAlexander_fxя выше в коде показал примерную структуру объекта
много полей и несколько внутренних вложений других классов
тесть не что то линейное типа списка битмапок а что то типа днк -длинное и с несколькими ответвлениями

я не против DWH - но не представляю как можно использовать DWH без сериализации
а сериализация такого рода обьекта займет время сопоставимое а то и больше чем первоначальный парсинг
Ну так и свопься в реляционную DWH. Грамотно настрой индексы. И забирай объект честным sql запросом.

скажи что мне гуглить
что то не представляю как скинуть своп в базу - даже не знаю с какого конца читать и что.
...
Рейтинг: 0 / 0
03.07.2013, 23:19
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38319961
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander_fxскажи что мне гуглить
что то не представляю как скинуть своп в базу - даже не знаю с какого конца читать и что.
Ничего гуглить не надо. Сделай нормальную реляционную структуру в базе, которая будет описывать твой чудо объект. Наведи констреинты и индексы. После этого туда можно загружать посчитанный объект.
...
Рейтинг: 0 / 0
04.07.2013, 09:58
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38320613
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
МСУ,

ты же видел структуру объекта - ну какое хранение в базе?
типа достал из базы - распарсил - и положил обратно - булъен из яиц.
...
Рейтинг: 0 / 0
04.07.2013, 14:57
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38320657
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander_fxМСУ, ты же видел структуру объекта - ну какое хранение в базе?
Где я видел структуру объекта? Ты привел какой-то детский цикл по i, не более того.

Alexander_fxтипа достал из базы - распарсил - и положил обратно - булъен из яиц.
Это называется DWH. База с расчетами - бери и работай. Что не так?
...
Рейтинг: 0 / 0
04.07.2013, 15:12
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38320968
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
МСУAlexander_fxМСУ, ты же видел структуру объекта - ну какое хранение в базе?
Где я видел структуру объекта? Ты привел какой-то детский цикл по i, не более того.

Alexander_fxтипа достал из базы - распарсил - и положил обратно - булъен из яиц.
Это называется DWH. База с расчетами - бери и работай. Что не так?


mssql поддерживает все виды DWH
и как прикажете хранить тот обьект что я привел в коде?
...
Рейтинг: 0 / 0
04.07.2013, 17:36
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38321001
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander_fxmssql поддерживает все виды DWH
В смысле?

Alexander_fxи как прикажете хранить тот обьект что я привел в коде?
Если речь об этом "объекте"

Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
Public Class row
        Public data1 As Double
        Public data2 As Date
        Public data3 As Integer
        Public data4 As String
        Public data5 As Single
        Public data6 As Short
End Class



то просто в обычной таблице. Правда я не понимаю, как тут может получиться гигабайт.
...
Рейтинг: 0 / 0
04.07.2013, 17:57
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38321019
Alexander_fx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander_fx
Участник
МСУ,

просто скопипасти код
и сразу поймеш откуда берется гигабайт

обьект это класс DATA в котором есть лист ITEM в каждои из котором есть класс с полями ROW


Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
Class MainWindow 
    Public Class row
        Public data1 As Double
        Public data2 As Date
        Public data3 As Integer
        Public data4 As String
        Public data5 As Single
        Public data6 As Short
    End Class
    Public Class item
        Public Property lst As New List(Of row)
    End Class
    Public Class data
        Public Property lst As New List(Of item)
    End Class

    Sub New()
        InitializeComponent()
        Dim test As New data
        For x As Integer = 0 To 3000000
            Dim l As New item
            For r As Integer = 0 To 5
                l.lst.Add(New row)
            Next
            test.lst.Add(l)
        Next

    End Sub
End Class
...
Рейтинг: 0 / 0
04.07.2013, 18:09
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38321231
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander_fx, ну так в чем проблема хранить эти данные в БД в виде master detail?
...
Рейтинг: 0 / 0
04.07.2013, 22:16
| Ответить | Цитировать | Написать  
Подскажите какую технологияю использовать для задачи
    #38321658
ВМоисеев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВМоисеев
Участник
>Alexander_fx, вчера, 18:09 [14524043]
>обьект это класс DATA в котором ...

Как понимаю, Вы имеете вектор структур (строк).
Попробуйте сериализовать по-строчно: в MemoryStream и далее в файл.
Но сериализуйте структуру не как объект, а по-компонентно, ручками.
Для байтовой сериализации строки первые два байта - длина сериализации (к примеру).
В своё время пришлось так делать - нужно было "выжать" производительность.


С уважением, Владимир.
...
Рейтинг: 0 / 0
05.07.2013, 11:55
| Ответить | Цитировать | Написать  
14 сообщений из 39, страница 2 из 2
  2  все
Форумы / WCF, Web Services, Remoting [игнор отключен] [закрыт для гостей] / Подскажите какую технологияю использовать для задачи
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=19&msg=38319459&tid=1397064]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 49ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 242ms
total:  393ms
созд. / загр.: 393ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]