Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Большое кол-во записей и DataSet ? / 25 сообщений из 31, страница 1 из 2
  1  все
03.02.2005, 10:55
    #32898591
iskuzer1
iskuzer1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Народ подскажите как работать с DataSet если записей 50 000, 100 000,
500 000, и т д с небольшим количеством 1000 зап DataSet работает отлично
но дальше не справляется ...
Если варианты работы c DataSet ?
если нет то какая альтернатива ???? HELP
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 11:01
    #32898604
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Датасет "официально" не предназначен для таких объемов. :-( По крайней мере в текущей версии фреймворка.
Если у вас проблемы с его сериализацией, то можно посмотреть в сторону DataSetSurrogate (ищите в статьях в мсдн).
Если проблемы в другом, то ищите другие подходы организации данных.
В фреймворке 2.0 обещают много улучшений датасета. В частности нормальную бинарную сериализацию.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 11:13
    #32898625
iskuzer1
iskuzer1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Да все оказывается сложней .... как же так блин ... а как работа с большими данными в том же Buider C++ в VCL это делается на 123 .... ща буду рыть
DataSetSurrogate ....
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 12:07
    #32898820
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
В VCL датасет - обертка надо ADO RecordSet. А он был достаточно неприхотлив к ресурсам.
В .НЕТ датасет основан на хмл, ресурсов требует намного больше. Да и по своей идеологии .нет не предназначен для работы с такими объемами данных. По крайней мере в стандартных паттернах.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:22
    #32899444
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
А для чего может понадобиться тащить на клиента 100 000 записей?
Используйте разбиение на страницы на стороне сервера и тащите постранично.
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:29
    #32899472
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
1) А кто сказал, что 100000 записей тянутся клиенту?
2) Клиенту они тоже могут понадобиться. Первый приходящий в голову пример - выгрузка набора данных во внешний файл. CSV, например.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:39
    #32899513
iskuzer1
iskuzer1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Вопрос решил на уровне DATASET заменял на OleDbDataReader
Теперь другой ворос загрузка в Grid это тоже для VS проблематично грузть большое кол-во записей ....
полльзуюсь ASPxGrid от Devexpress причем у меня на магине грузет 25000 нормально а вот когда размещаю aspx формы у провайдера на хосте все задумывается теперь уже на уровне GRIDаааа .....
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:39
    #32899514
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
>>>1) А кто сказал, что 100000 записей тянутся клиенту?
а среднее звено не клиент чтоли по отношение к БД?

>>>>2) Клиенту они тоже могут понадобиться.
Зачем? Сразу все 100 000?
>>>Первый приходящий в голову пример - выгрузка набора данных во внешний файл. CSV, например.
И что это даст? Хотите файл обрабатывать?

Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:48
    #32899559
Roman S. Golubin
Roman S. Golubin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Роман Дынник
>>>>2) Клиенту они тоже могут понадобиться.
Зачем? Сразу все 100 000?

Почему нет? Репликация данных, например.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:51
    #32899574
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Почему нет? Репликация данных, например

такие объемы лучше бы средствами СУБД реплицировать, а не клиента.
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 15:54
    #32899586
iskuzer1
iskuzer1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Господа ... а как по поводу грида есть идеи ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:04
    #32899614
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Господа ... а как по поводу грида есть идеи ?

А грид по вашему память не юзает для хранения 100 000 записей полученных из datareader?
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:06
    #32899629
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Клиенту нужно во внешнем файле 100000 записей? Вынь да полож, как говорится. Да, в большинстве случаев это плохая практика - передавать такие большие датасеты. Но иногда это необходимо.

автора среднее звено не клиент чтоли по отношение к БД?
А вытяните-ка мне из MS SQL 100 записей из середины резалтсета! Ага. Вложенный подзапрос с двумя ORDER. А если исходный запрос достаточно сложный?!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:10
    #32899641
iskuzer1
iskuzer1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Grid Жрет память конечно .... в том то и вопрос как грузануть например по странично как реализовывается ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:10
    #32899643
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
автортакие объемы лучше бы средствами СУБД реплицировать, а не клиента.

А если у меня БД - это внешний XML-файл? Как быть? И в общем случае, когда СУБД не поддерживает репликацию, как быть?
А как быть, если требуется независимость от СУБД? (Есть универсальный DAL, с помощью которого относительно просто реализовать свою репликацию, а через СУБД каждый раз проблемы.)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:21
    #32899679
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
А вытяните-ка мне из MS SQL 100 записей из середины резалтсета! Ага. Вложенный подзапрос с двумя ORDER. А если исходный запрос достаточно сложный?!

во временную таблицу с identity-полем, и там уже хоть из конца. ( вариантов много - FAQ по MSSQL на этом форуме)

А если у меня БД - это внешний XML-файл? Как быть? И в общем случае, когда СУБД не поддерживает репликацию, как быть?
А как быть, если требуется независимость от СУБД? (Есть универсальный DAL, с помощью которого относительно просто реализовать свою репликацию, а через СУБД каждый раз проблемы.)

а вы все 100 000 - 500 000 записей реплицируете? Я бы реплицировал только измененные.
в общем случае dataset для таких объемов не предназначен, если вам нужен бек-офис с таким объемом пишите его под MSDE или другой "настольной" СУБД.
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:33
    #32899727
Roman S. Golubin
Roman S. Golubin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Роман Дынник
а вы все 100 000 - 500 000 записей реплицируете? Я бы реплицировал только измененные.

Хммм.. а если измененных - 500000?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 16:39
    #32899752
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Хммм.. а если измененных - 500000?

архитектуру пересматривать надо в сторону перехода от DataSet к MSDE.
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 17:05
    #32899816
Bigheadman
Bigheadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
авторво временную таблицу с identity-полем, и там уже хоть из конца. ( вариантов много - FAQ по MSSQL на этом форуме)

Мне они известны. Но не всегда это бывает удобно.

авторв общем случае dataset для таких объемов не предназначен
Об этом я тоже выше писал.

Проблема еще в том, что датасет очень удобен. И частенько хочется его использовать для того, для чего он не предназначен. А альтернатива писать свой компонент не прельщает. :-)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.02.2005, 19:42
    #32900208
Roman S. Golubin
Roman S. Golubin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Роман Дынник
Хммм.. а если измененных - 500000?

архитектуру пересматривать надо в сторону перехода от DataSet к MSDE.

Архитектуру чего? Интернета?
MSDE тут каким боком, если речь о репликации, а MSSQL с репликацией дружит очень плохо?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2005, 09:17
    #32900606
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
Архитектуру чего? Интернета?
MSDE тут каким боком, если речь о репликации, а MSSQL с репликацией дружит очень плохо?

Архитектуру приложения.
Что вы хотите сказать? Что MSDE c MSSQL дружат???
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2005, 09:19
    #32900607
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
>>>Архитектуру чего? Интернета?
>>>MSDE тут каким боком, если речь о репликации, а MSSQL с репликацией дружит очень плохо?


Архитектуру приложения.
Что вы хотите сказать? Что MSDE c MSSQL ПЛОХО дружат???

Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2005, 10:13
    #32900692
Roman S. Golubin
Roman S. Golubin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
>> Что вы хотите сказать? Что MSDE c MSSQL ПЛОХО дружат???

Не MSDE с MSSQL, а MSSQL(MSDE) -> агент репликации -> MSSQL(MSDE).
Тем более что пускать внешнего пользователя к хранилищу баз данных напрямую - моветон :-))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2005, 11:29
    #32900873
Роман Дынник
Роман Дынник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
MSSQL(MSDE) -> агент репликации -> MSSQL(MSDE).

И почему эта связка плохо дружит, можно пример?

Тем более что пускать внешнего пользователя к хранилищу баз данных напрямую - моветон :-))

Так вы не пускайте куда ему не следует, для этого разные настройки и схемы репликации есть, да хоть свою обработку пишите...
Вопрос то не в этом.
Dataset используют для объемов в среднем 10-20 тыс. записей, не больше. Может конечно и есть такие "мобильные" пользователи у которых по 5 гиг оперативки, но я таких еще не встречал
Posted via ActualForum NNTP Server 1.1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.02.2005, 12:48
    #32901099
Roman S. Golubin
Roman S. Golubin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое кол-во записей и DataSet ?
>> MSSQL(MSDE) -> агент репликации -> MSSQL(MSDE).
> И почему эта связка плохо дружит, можно пример?
http://support.microsoft.com/default.aspx?scid=kb;en-us;814032

Сам понимаешь - два года ждать четвертого сервис пака, который исправит ситуацию - сли-и-ишком долго :-)

> Так вы не пускайте куда ему не следует, для этого разные настройки
> и схемы репликации есть,

Все они предполагают подключение сервера SQL 443-м портом напрямую в интернет. И использовать их после дыры во втором сервис-паке и появления вирусов для SQL даже и не проси.

> да хоть свою обработку пишите... Вопрос то не в этом.

Вот именно в том и вопрос - свою обработку напишите - вот и пишут люди.

> Dataset используют для объемов в среднем 10-20 тыс. записей,
> не больше.

Кто сказал? Ссылку на источник в студию, плиз...

> Может конечно и есть такие "мобильные" пользователи
> у которых по 5 гиг оперативки, но я таких еще не встречал

Хмм.. а зачем 5 Гиг оперативки когда есть файл подкачки?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Большое кол-во записей и DataSet ? / 25 сообщений из 31, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]