ReSQL.ru
     
powered by simpleCommunicator - 2.0.57     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Многопоточное заполнение Dataset c#
25 сообщений из 35, страница 1 из 2
  1  все
Многопоточное заполнение Dataset c#
    #38148827
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
Доброе время суток.

Вопрос в следующем.
Есть код заполнения датасета

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
public static DataSet getDS(string query)
        {
            DataSet ds = new DataSet();
            
            FbDataAdapter sa = new FbDataAdapter(query, fbBD);
            try
            {
                fbBD.Open();
                sa.Fill(ds);
                return ds;
            }
            catch (FbException s)
            {
                MessageBox.Show(s.Message);
                return ds;
            }
            finally
            {
                fbBD.Close();
                ds.Dispose();
                sa.Dispose();
            }

            
        }



Иногда требуется загружать в него много записей (до 1000000) для обсчета через LINQ.

Стопор в том что при загрузке большого кол-ва записей dataset заполняется довольно долго (примерно до 30 секунд)

Есть ли возможность организовать много поточную загрузку в Dataset?




Не откладывай на завтра то что можно сделать послезавтра :)
...
Рейтинг: 0 / 0
13.02.2013, 07:57
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38148844
sld
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sld
Гость
сделать загрузку в отдельном потоке я думаю можно.
...
Рейтинг: 0 / 0
13.02.2013, 08:28
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38148857
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
Нет не сделать загрузку отдельным потоком, а именно запустить несколько потоков в которых бы заполнялся dataset

чтобы запускалось скажем 3-4 потока и каждый добавлял свою часть данных. За счет этого время заполнения dataset снизится в разы
...
Рейтинг: 0 / 0
13.02.2013, 08:53
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38148886
Barkan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Barkan
Участник
SkyS,

Может и не в тему, а на SQL этот обсчёт сделать нельзя?
...
Рейтинг: 0 / 0
13.02.2013, 09:42
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38148913
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
BarkanSkyS,

Может и не в тему, а на SQL этот обсчёт сделать нельзя?

в процедуру передается текст запроса на sql . БД Firebird 1.5. Если честно то я не знаю можно ли в теле запроса указать на многопоточность и если честно я не курсе потдерживает ли такое дело firebird
...
Рейтинг: 0 / 0
13.02.2013, 10:00
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38149043
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lord British
Участник
SkyS,

На таком маленьком количестве записей не нужна никакая многопоточность. И не забивайте гвозди микроскопом. Изучите свою СУБД и выполните на ее языке свою задачу.
...
Рейтинг: 0 / 0
13.02.2013, 11:12
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38149174
Фотография Владимир СА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир СА
Участник
SkySДоброе время суток.

Вопрос в следующем.
Есть код заполнения датасета

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
public static DataSet getDS(string query)
        {
            DataSet ds = new DataSet();
            
            FbDataAdapter sa = new FbDataAdapter(query, fbBD);
            try
            {
                fbBD.Open();
                sa.Fill(ds);
                return ds;
            }
            catch (FbException s)
            {
                MessageBox.Show(s.Message);
                return ds;
            }
            finally
            {
                fbBD.Close();
                ds.Dispose();
                sa.Dispose();
            }

            
        }



Иногда требуется загружать в него много записей (до 1000000) для обсчета через LINQ.

Стопор в том что при загрузке большого кол-ва записей dataset заполняется довольно долго (примерно до 30 секунд)

Есть ли возможность организовать много поточную загрузку в Dataset?

Мне кажется вообще неправильный подход...
Никогда в dataset не грузят столько записей... Ну это мой взгляд...
Есть трехзвенная архитектура ....
Большую часть работы выполнять на сервере...
И то что ты хочешь просчитать через LINQ... можно сделать на сервере... причем проверсти оптимизацию запросов...
И выдать результат пользователю...
...
Рейтинг: 0 / 0
13.02.2013, 12:21
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38149971
sp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sp
Участник
SkyS,

Правильный подход - каждому свое - программе - код, БД - данные
Обработку больших объемов данных надо делать в БД - она для того и делалась, а не в коде!
...
Рейтинг: 0 / 0
13.02.2013, 17:25
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150268
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Модератор форума
spSkyS,

Правильный подход - каждому свое - программе - код, БД - данные


Обработку больших объемов данных надо делать в БД - она для того и делалась, а не в коде!

+1
...
Рейтинг: 0 / 0
13.02.2013, 20:36
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150490
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
spSkyS,

Правильный подход - каждому свое - программе - код, БД - данные
Обработку больших объемов данных надо делать в БД - она для того и делалась, а не в коде!

Тут я согласен.
Просто отчет довольно сложный и мне проще делать обсчет на клиенте так как не смог придумать каким образом сделать это на сервере бд (знаю что это мои проблемы и мой косяк).

Но тут вопрос даже не в этом. Вопрос в том Умеет ли датасет заполняться в много поточном режиме?
...
Рейтинг: 0 / 0
14.02.2013, 05:32
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150491
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
Владимир САБольшую часть работы выполнять на сервере...
.

Тут имеется в виду сервер БД ? или свой собственныый написанный сервер для обработки запросов?
...
Рейтинг: 0 / 0
14.02.2013, 05:34
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150503
Фотография Владимир СА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир СА
Участник
SkySВладимир САБольшую часть работы выполнять на сервере...
.
Тут имеется в виду сервер БД ? или свой собственныый написанный сервер для обработки запросов?Конечно на сервере БД...
...
Рейтинг: 0 / 0
14.02.2013, 06:21
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150515
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Модератор форума
SkySВопрос в том Умеет ли датасет заполняться в много поточном режиме?
Редактировать в многопоточном режиме пробовал.
...
Рейтинг: 0 / 0
14.02.2013, 07:15
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150529
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
Данные разбивать на пачки, а их с помощью tpl записывать параллельно.
...
Рейтинг: 0 / 0
14.02.2013, 07:51
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150691
eny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eny
Гость
Открою маленький секрет - база данных данных хранится на одном жестком диске и обрабатывается одним контроллером НЖМД поэтому попытка многопоточной загрузки ничего не даст - система поставит все запросы к базе в одну огрооомную очередь к медленному устройству ввода вывода и все только станет хуже.

Сущность LINQ в кешировании данных на клиенте, лет пять назад такую архитектуру пнул бы даже лежачий, а счаз запрудрили людям моск типа это круто.

Разумеется, многопоточное заполнение ОЗУ произойдет быстрее и Ваше приложение как бы отделается раньше, но за кадром, ado.net будет потом все это пихать в файл СУБД.
Кстати, транзакций возможны побочные эффекты при многопоточной загрузке.
...
Рейтинг: 0 / 0
14.02.2013, 10:39
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150741
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
enyОткрою маленький секрет - база данных данных хранится на одном жестком диске и обрабатывается одним контроллером НЖМД поэтому попытка многопоточной загрузки ничего не даст - система поставит все запросы к базе в одну огрооомную очередь к медленному устройству ввода вывода и все только станет хуже.

Сущность LINQ в кешировании данных на клиенте, лет пять назад такую архитектуру пнул бы даже лежачий, а счаз запрудрили людям моск типа это круто.

Разумеется, многопоточное заполнение ОЗУ произойдет быстрее и Ваше приложение как бы отделается раньше, но за кадром, ado.net будет потом все это пихать в файл СУБД.
Кстати, транзакций возможны побочные эффекты при многопоточной загрузке.

Полная хрень
...
Рейтинг: 0 / 0
14.02.2013, 11:06
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150777
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
enyОткрою маленький секрет - база данных данных хранится на одном жестком диске и обрабатывается одним контроллером НЖМД поэтому попытка многопоточной загрузки ничего не даст
Это не совсем так. Чтение-запись в нескольких потоках может заметно улучшить производительность.
enyСущность LINQ в кешировании данных на клиенте,
Не говорите ерунды, учите матчасть!

По теме.
А зачем использовать датасеты? Считаете линком - используйте свои коллекции, если хотите даже анонимных типов. Как то так.
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
 string ConnectionString = "Строка подключения";
        string QueryString = "Строка запроса";
        void Calc()
        {
            using (var conn = new SqlConnection(ConnectionString))
            {
                var comm = new SqlCommand(QueryString, conn);
                conn.Open();
                var reader = comm.ExecuteReader();
                var data = reader.Cast<IDataRecord>()
                    .Select(r => new { Id = r.GetInt32(0), Name = r.GetString(1) });
                //тут расчет
            }
        }
...
Рейтинг: 0 / 0
14.02.2013, 11:23
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150861
eny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eny
Гость
SeVaenyОткрою маленький секрет - база данных данных хранится на одном жестком диске и обрабатывается одним контроллером НЖМД поэтому попытка многопоточной загрузки ничего не даст - система поставит все запросы к базе в одну огрооомную очередь к медленному устройству ввода вывода и все только станет хуже.

Сущность LINQ в кешировании данных на клиенте, лет пять назад такую архитектуру пнул бы даже лежачий, а счаз запрудрили людям моск типа это круто.

Разумеется, многопоточное заполнение ОЗУ произойдет быстрее и Ваше приложение как бы отделается раньше, но за кадром, ado.net будет потом все это пихать в файл СУБД.
Кстати, транзакций возможны побочные эффекты при многопоточной загрузке.

Полная хрень

Согласен. Браво!

Но сама по себе многопоточность не улучшает производительность, а только может ускорить отклик системы.

И вообще, в самом начале вопрос очень сферичен - две строчки чего-то там, без запроса и данных и вопрос - а будет ли это работать быстрее? Ответ - как хотите так и будет работать ;-)
...
Рейтинг: 0 / 0
14.02.2013, 11:59
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38150991
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
enyНо сама по себе многопоточность не улучшает производительность, а только может ускорить отклик системы.

На одном одноядерном проце - да. Но где бы такую систему сейчас найти?
...
Рейтинг: 0 / 0
14.02.2013, 12:45
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151010
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lord British
Участник
пестец, дорогая редакция. сраный многоэтажный селект написать и оптимизировать план не хотим, запилим на PLINQ обработку пачками. где здравый смысл?
...
Рейтинг: 0 / 0
14.02.2013, 12:53
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151046
eny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eny
Гость
ЕвгенийВenyНо сама по себе многопоточность не улучшает производительность, а только может ускорить отклик системы.

На одном одноядерном проце - да. Но где бы такую систему сейчас найти?

Где-то на системном уровне многоядерность еще заметна.
На пользовательском уровне - что система даст от этих ядер то и будет, и это без учета возможных блокировок и переключений потоков в самом апликейшене и заморочек нетовской виртуальной машины.

В итоге система программе отдает ресурсы по принципу отклика, когда системе удобно. Если несколько потоков маниакально хотят от системы одного и того же, например общий адоконнекшн, система обижается и начинает ставить их в угол ;-) отбирать ядра
...
Рейтинг: 0 / 0
14.02.2013, 13:05
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151059
SkyS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SkyS
Участник
Lord Britishпестец, дорогая редакция. сраный многоэтажный селект написать и оптимизировать план не хотим, запилим на PLINQ обработку пачками. где здравый смысл?

ну не совсем сраный как вы выражаетесь. у потом я уже писал что мне не удалось в то время придумать правильно и быстро работающую процедуру в субд (используется firebird). Просто хотелось узнать можно ли...? Сейчас запрос оптимизирован и процедура написана, но остался вопрос про много поточность .

Ну и внесу свои пять копеек по поводу целесообразности применения многопоточности при заполнение датасета.

Может я чего то не понимаю но из кода видно что я заполняю датасет данными из базы а не наоборот.

Поэтому говорить об транзакциях и прочих прелестях записи в бд не стоит. я считаю если выполнение процедуры на сервере бд занимает времени больше чем выборка данных и обработка их на клиенте то смотреть нужно в сторону обработки на клиенте(ну опять же все зависит от оптимизации).
...
Рейтинг: 0 / 0
14.02.2013, 13:09
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151061
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arm79
Участник
Lord Britishпестец, дорогая редакция. сраный многоэтажный селект написать и оптимизировать план не хотим, запилим на PLINQ обработку пачками. где здравый смысл?

+1024

по сабжу: PLINQ + ForEach + создание и заполнение дататейбла с последующей регистрацией его в DataSet

типа
...
Рейтинг: 0 / 0
14.02.2013, 13:10
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151064
eny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eny
Гость
Lord Britishпестец, дорогая редакция. сраный многоэтажный селект написать и оптимизировать план не хотим, запилим на PLINQ обработку пачками. где здравый смысл?

Скоро дот-нетовцы вообще оторвутся от реальности и будут считать ассемблером виртуальный байт код, а LINQ СУБД ;-) - виртуализация наступает.
...
Рейтинг: 0 / 0
14.02.2013, 13:10
| Ответить | Цитировать | Написать  
Многопоточное заполнение Dataset c#
    #38151078
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arm79
Участник
var lst = new List<DataTable>();
... заполнить его пустыми таблицами ...
Parallel.ForEach(lst, datatable => заполнить datatable);

...
lst.ForEach(DataSet.Tables.Add);

как то так примерно
...
Рейтинг: 0 / 0
14.02.2013, 13:15
| Ответить | Цитировать | Написать  
25 сообщений из 35, страница 1 из 2
  1  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Многопоточное заполнение Dataset c#
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=20&tid=1405170]:
 0ms
get settings:
 9ms
get forum list:
 10ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 52ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 2ms
others: 9ms
total:  158ms
созд. / загр.: 158ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]