Гость
Войти | Профиль | Очистить
Действия ...
Форумы / ADO.NET, LINQ, Entity Framework, NHibernate, DAL, ORM [игнор отключен] [закрыт для гостей] / проблема с DataAdapter.Fill в C# / 7 сообщений из 7, страница 1 из 1
19.01.2012, 21:56
    #37623242
DeViLsssss
DeViLsssss
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
Здравствуйте!
Проблема вот в чем: есть огромная dbf-таблица с 3000000 записей.
Необходимо обработать эту таблицу построчно.
Проблема в том, что при загрузке данных в Dataset вылезает ошибка нехватки памяти.
Различным образом пробуя различные условия на запрос всё обрабатывается, но есть один случай, когда как не делай выборку, все равно получается больше 500000 записей. И снова OutOfMemory.
Вопрос такой: есть ли какой-нибудь параметр Dataset, который позволяет обрабатывать записи запроса последовательно, например по 5000 штук (например: результат запроса 10000 записей. и датасет заполняется сначала первыми 5000 записями, все обрабатывается, потом, датасет заполняется вторыми 5000 записями и обрабатывается)?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.01.2012, 22:29
    #37623270
SolYUtor
SolYUtor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
DeViLsssss,

Этот боян недавно рвали.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.01.2012, 06:15
    #37623417
AndreyRnD
AndreyRnD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
а через DataReader сделать нельзя? так конечно дольше, но зато память не занимается.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.01.2012, 06:53
    #37623427
DeViLsssss
DeViLsssss
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
SolYUtorDeViLsssss,

Этот боян недавно рвали.

Извиняюсь, искал немного не там..
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.01.2012, 06:54
    #37623429
DeViLsssss
DeViLsssss
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
AndreyRnDа через DataReader сделать нельзя? так конечно дольше, но зато память не занимается.

Сейчас все буду пробовать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.01.2012, 11:11
    #37623606
WitC
WitC
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
DeViLsssssSolYUtorDeViLsssss,

Этот боян недавно рвали.

Извиняюсь, искал немного не там..

Возможно не по теме, мало вникал, что нада. Но судя по "Баяну" - требуется динамическая отчистка кучи (????)
Когда-то давно нарыл в инете примерчик, сделал классом. Теперь, когда нужна очистка ОЗУ юзаю метод FlushMemory...

Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
<DllImportAttribute("kernel32.dll", EntryPoint:="SetProcessWorkingSetSize", ExactSpelling:=True, CharSet:=CharSet.Ansi, SetLastError:=True)> _
    Private Shared Function SetProcessWorkingSetSize(ByVal process As IntPtr, ByVal minimumWorkingSetSize As Integer, ByVal maximumWorkingSetSize As Integer) As Integer
    End Function

    ''' <summary>
    ''' Освобождаем память
    ''' </summary>
    Public Sub FlushMemory()
        GC.Collect()
        GC.WaitForPendingFinalizers()
        If Environment.OSVersion.Platform = PlatformID.Win32NT Then SetProcessWorkingSetSize(System.Diagnostics.Process.GetCurrentProcess().Handle, -1, -1)
    End Sub
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.01.2012, 11:16
    #37623618
Алексей К
Алексей К
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
проблема с DataAdapter.Fill в C#
WitCНо судя по "Баяну" - требуется динамическая отчистка кучи (????)Нет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / ADO.NET, LINQ, Entity Framework, NHibernate, DAL, ORM [игнор отключен] [закрыт для гостей] / проблема с DataAdapter.Fill в C# / 7 сообщений из 7, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 430ms
Закрыть
start [/forum/topic.php?fid=17&mobile=1&tid=1350473]:
 0ms
get settings:
 6ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 29ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 48ms
get tp. blocked users:
 1ms
others: 314ms
total:  430ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]