ReSQL.ru
     
powered by simpleCommunicator - 2.0.58     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Выборка из базы данных в несколько потоков
25 сообщений из 129, страница 1 из 6
  1  все
Выборка из базы данных в несколько потоков
    #38080564
Newbie2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Newbie2002
Гость
Хочу научится работать с многопточностью )
К примеру, в базе есть 300 записей. Я хочу запустить выборку по 100 записей в 3 потоках одновременно. Подскажите как действовать и что почитать.
Спасибо.
...
Рейтинг: 0 / 0
15.12.2012, 15:47
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080619
Lelouch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lelouch
Участник
Newbie2002,
300 записей получать в 3 потока это сурово....
...
Рейтинг: 0 / 0
15.12.2012, 17:50
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080628
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
beg-in-er
Участник
Lelouch300 записей получать в 3 потока это сурово....
да, пожалуй задачка для БД непосильная. надо бы увеличить количество потоков.
...
Рейтинг: 0 / 0
15.12.2012, 18:11
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080631
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
http://codearticles.ru/Home/ArticleView/1156
...
Рейтинг: 0 / 0
15.12.2012, 18:19
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080652
Newbie2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Newbie2002
Гость
Ну хорошо, мне надо увеличить скорость выборки 30 000 000 записей, из сложной структуры соответственно 30 млн записей тянут за собой еще записии и сумарно получается под 100 150 млн записей. Так круче?
...
Рейтинг: 0 / 0
15.12.2012, 19:14
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080653
Newbie2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Newbie2002
Гость
МСУ,

Спасибо за ответ буду разбираться
...
Рейтинг: 0 / 0
15.12.2012, 19:14
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080680
bazile
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bazile
Участник
Newbie2002,

можно посмотреть в сторону MARS (Multiple Active Recordsets).
...
Рейтинг: 0 / 0
15.12.2012, 20:02
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080683
Newbie2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Newbie2002
Гость
bazile,

Спасибо я использую MultipleActiveResultSets=true
...
Рейтинг: 0 / 0
15.12.2012, 20:12
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080737
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
МСУ http://codearticles.ru/Home/ArticleView/1156

Какая прелесть!! муфаил, а если в десяти потоках нужно будет читать данные, то продолжать соpy-past еще на пару страниц?
PS выборка результатов будет последовательная

net 4.5


Создаешь нужный метод, который будет считывать данные, далее с помощью Paraller.ForAll или PLinq запускаешь их

a'la

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
 public async Task<string> ReadAsync( int index)
{
    await   Task.Delay(index * 1000);
    return index.ToString();
 
}

//Test

   var strings= Emumarable.Range(0,3).AsParallel.Select( async i => ReadAsync(i));
   foreach( var s in strings)
   {
      Console.WriteLine(s);
   }
...
Рейтинг: 0 / 0
15.12.2012, 22:10
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080787
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
SeVa,
без спорно, идея великолепная, но чел только только про потоки услышал а вы ему таски с паралелями, так можно лишить сознания пациента.
Я бы с начало дал ему попробовать утрамбовать "под 100 150 млн записей" в типизированный датасет, а потом глядя на динамику выздоровления - назначил бы потоки..
...
Рейтинг: 0 / 0
15.12.2012, 23:45
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080801
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
Где-то в степиSeVa,
без спорно, идея великолепная, но чел только только про потоки услышал а вы ему таски с паралелями, так можно лишить сознания пациента.
Я бы с начало дал ему попробовать утрамбовать "под 100 150 млн записей" в типизированный датасет, а потом глядя на динамику выздоровления - назначил бы потоки..

А думал, что проще async\await. MS тужится, а создается полное впечатление, что про net 4.5 мало кто слышал.
Странная картина: c одной стороны облака, а с другой айтишники в глухих землянках отсиживаются без выхода в интернет
...
Рейтинг: 0 / 0
15.12.2012, 23:59
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080809
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
SeVaКакая прелесть!! муфаил, а если в десяти потоках нужно будет читать данные, то продолжать соpy-past еще на пару страниц?
Кухарочка, а если наступит новый год и дед мороз назовет тебя безупречным ламером, как в этом случае быть с потоками?

P.S. Кто-то недавно пищал про убогость тасков и воспевал говно-Rx. Кодеманка поменяла ориентацию? Шедеврально.
...
Рейтинг: 0 / 0
16.12.2012, 00:04
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080817
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
МСУSeVaКакая прелесть!! муфаил, а если в десяти потоках нужно будет читать данные, то продолжать соpy-past еще на пару страниц?
Кухарочка, а если наступит новый год и дед мороз назовет тебя безупречным ламером, как в этом случае быть с потоками?

P.S. Кто-то недавно пищал про убогость тасков и воспевал говно-Rx. Кодеманка поменяла ориентацию? Шедеврально.

Rx можно совсем травмировать.
code-monkey, расскажи по каким еще помойкам шаришься, выискивая такие объедки, которые запостил выше?

Да, посмотри лучше на свою ориентацию, сколько от тебя было вони про космические корабли, html5/js, а как выяснилось, ты их в глаза не видел и не собираешься. Чмо пустопорожнее
...
Рейтинг: 0 / 0
16.12.2012, 00:14
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080822
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Rx не можно травмировать, а ты уже им травмирован. Причем, неизлечимо. Остальные высеры не имеют какой-либо ценности для темы, так что извини, опять ты обосрался.
...
Рейтинг: 0 / 0
16.12.2012, 00:27
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080823
Фотография Green2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Green2Привилегированный пользователь
Участник
Newbie2002,

Если диск базы данных один
Тогда выборка в много потоков не даст никакого прироста производительности.
...
Рейтинг: 0 / 0
16.12.2012, 00:28
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080836
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
МСУ, SeVa
Учитесь:
Green2Если диск базы данных один
Тогда выборка в много потоков не даст никакого прироста производительности.
...
Рейтинг: 0 / 0
16.12.2012, 00:52
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080839
Newbie2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Newbie2002
Гость
Green2,

Выборку делаю с мощного сервера а не с локального компьютора, поэтому у думаю про многопоточность
...
Рейтинг: 0 / 0
16.12.2012, 00:58
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080841
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
МСУ, SeVa
Учитесь:
Green2Если диск базы данных один
Тогда выборка в много потоков не даст никакого прироста производительности.
Я теперь всегда использую два сидирома, что бы не плодить потоки.
...
Рейтинг: 0 / 0
16.12.2012, 00:59
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080842
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
Newbie2002, это у Вас - СУБды, птички да слоники, у реальных пацанов базы на DVD-RW, и точка...
...
Рейтинг: 0 / 0
16.12.2012, 01:05
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080845
Фотография Green2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Green2Привилегированный пользователь
Участник
Newbie2002Green2,

Выборку делаю с мощного сервера а не с локального компьютора, поэтому у думаю про многопоточностьХорошо, тогда вопросы,
1. Что это за сервер, как у него организованы диски.
2. Какая база данных.

И самое главное, зачем вам схема в три потока?
...
Рейтинг: 0 / 0
16.12.2012, 01:15
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080849
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
Green2,
сервер- база данных , это абстракция, как он утроен нам без разницы, на сказевых или простых тем более.
единственное что аксиома, он может обслуживать одновременно большое количество участников.
этому критерию удовлетворяют все хранилища баз данных,
доступ к серверу, абстракция тем более, ибо это происходит через провайдеров которые реализуют интерфейс доступа.
Для всех типов баз он одинаковый, тюнинг не в счет.
...
Рейтинг: 0 / 0
16.12.2012, 01:26
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080860
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
beg-in-er
Участник
Green21. Что это за сервер, как у него организованы диски.
2. Какая база данных.
эти вопросы актуальны если количество запросов в секунду чуть больше чем рыбы в речке.
а если 3 запроса в час - то реально не имеет значения какие винты.
Raid просто застрелится от скуки.
...
Рейтинг: 0 / 0
16.12.2012, 02:20
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080935
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Где-то в степиМСУ, SeVa
Учитесь:
Green2Если диск базы данных один
Тогда выборка в много потоков не даст никакого прироста производительности.
Выполни мой пример. Не ленись.
...
Рейтинг: 0 / 0
16.12.2012, 12:49
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080955
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
МСУ,
ну ты че, юмор потерял, ну просто я такую шузу а виде полумесяца забыл поставить()) после вертикальных двух точек..
код... не хочу, тем более я вчера опять экспериментировал с пиком баллмера..
я его смотрел так поверхностно секунд 5-6, там все понятно до ужаса, и решена проблема игольного ушка для доступа к базе..
код работоспособный и верный, толь ко вот я никак не могу понять зачем нам многоточечная загрузка, что ж так жалеть базу
что надо весь табун записей загонять на клиента и там его сортировать, с этим прекрасно справляются базы.
Запрос к базе должен быть точный и краткий, как апперкот - ответ такой же.
...
Рейтинг: 0 / 0
16.12.2012, 13:25
| Ответить | Цитировать | Написать  
Выборка из базы данных в несколько потоков
    #38080971
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeVa
Участник
МСУГде-то в степиМСУ, SeVa
Учитесь:
пропущено...

Выполни мой пример. Не ленись.


Мудафаил щедро делится объедками web помоек. Налетай, пока не разобрали!!!
...
Рейтинг: 0 / 0
16.12.2012, 13:52
| Ответить | Цитировать | Написать  
25 сообщений из 129, страница 1 из 6
  1  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Выборка из базы данных в несколько потоков
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=20&msg=38080683&tid=1405470]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 62ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 60ms
get tp. blocked users:
 1ms
others: 316ms
total:  485ms
созд. / загр.: 485ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]