ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / ADO.NET, LINQ, Entity Framework, NHibernate, DAL, ORM [игнор отключен] [закрыт для гостей] / проблема с DataAdapter.Fill в C#
7 сообщений из 7, страница 1 из 1
проблема с DataAdapter.Fill в C#
    #37623242
DeViLsssss
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DeViLsssss
Гость
Здравствуйте!
Проблема вот в чем: есть огромная dbf-таблица с 3000000 записей.
Необходимо обработать эту таблицу построчно.
Проблема в том, что при загрузке данных в Dataset вылезает ошибка нехватки памяти.
Различным образом пробуя различные условия на запрос всё обрабатывается, но есть один случай, когда как не делай выборку, все равно получается больше 500000 записей. И снова OutOfMemory.
Вопрос такой: есть ли какой-нибудь параметр Dataset, который позволяет обрабатывать записи запроса последовательно, например по 5000 штук (например: результат запроса 10000 записей. и датасет заполняется сначала первыми 5000 записями, все обрабатывается, потом, датасет заполняется вторыми 5000 записями и обрабатывается)?
...
Рейтинг: 0 / 0
19.01.2012, 21:56
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623270
SolYUtor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SolYUtor
Участник
DeViLsssss,

Этот боян недавно рвали.
...
Рейтинг: 0 / 0
19.01.2012, 22:29
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623417
AndreyRnD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AndreyRnD
Участник
а через DataReader сделать нельзя? так конечно дольше, но зато память не занимается.
...
Рейтинг: 0 / 0
20.01.2012, 06:15
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623427
DeViLsssss
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DeViLsssss
Гость
SolYUtorDeViLsssss,

Этот боян недавно рвали.

Извиняюсь, искал немного не там..
...
Рейтинг: 0 / 0
20.01.2012, 06:53
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623429
DeViLsssss
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DeViLsssss
Гость
AndreyRnDа через DataReader сделать нельзя? так конечно дольше, но зато память не занимается.

Сейчас все буду пробовать.
...
Рейтинг: 0 / 0
20.01.2012, 06:54
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623606
WitC
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WitC
Гость
DeViLsssssSolYUtorDeViLsssss,

Этот боян недавно рвали.

Извиняюсь, искал немного не там..

Возможно не по теме, мало вникал, что нада. Но судя по "Баяну" - требуется динамическая отчистка кучи (????)
Когда-то давно нарыл в инете примерчик, сделал классом. Теперь, когда нужна очистка ОЗУ юзаю метод FlushMemory...

Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
<DllImportAttribute("kernel32.dll", EntryPoint:="SetProcessWorkingSetSize", ExactSpelling:=True, CharSet:=CharSet.Ansi, SetLastError:=True)> _
    Private Shared Function SetProcessWorkingSetSize(ByVal process As IntPtr, ByVal minimumWorkingSetSize As Integer, ByVal maximumWorkingSetSize As Integer) As Integer
    End Function

    ''' <summary>
    ''' Освобождаем память
    ''' </summary>
    Public Sub FlushMemory()
        GC.Collect()
        GC.WaitForPendingFinalizers()
        If Environment.OSVersion.Platform = PlatformID.Win32NT Then SetProcessWorkingSetSize(System.Diagnostics.Process.GetCurrentProcess().Handle, -1, -1)
    End Sub
...
Рейтинг: 0 / 0
20.01.2012, 11:11
| Ответить | Цитировать | Написать  
проблема с DataAdapter.Fill в C#
    #37623618
Фотография Алексей К
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей К
Участник
WitCНо судя по "Баяну" - требуется динамическая отчистка кучи (????)Нет.
...
Рейтинг: 0 / 0
20.01.2012, 11:16
| Ответить | Цитировать | Написать  
7 сообщений из 7, страница 1 из 1
Форумы / ADO.NET, LINQ, Entity Framework, NHibernate, DAL, ORM [игнор отключен] [закрыт для гостей] / проблема с DataAdapter.Fill в C#
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=17&fpage=37&tid=1350473]:
 0ms
get settings:
 11ms
get forum list:
 17ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 60ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 2ms
others: 310ms
total:  477ms
созд. / загр.: 477ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]