|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Нужно отфильтровать DBF файл filename (1500000 записей ), данными из DataSet - nomer. делаю так Код: c# 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
Основные тормоза здесь --> OleDbDataReader reader = command.ExecuteReader(); в итоге очень медленно подскажите пути ускорения. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2013, 15:10 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JA, индекса конечно нет, или он в формате, не поддерживаемом провайдером? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2013, 15:36 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
ИзопропилChumakov_JA, индекса конечно нет, или он в формате, не поддерживаемом провайдером? ну в общем индексный файл есть а как его можно тут использовать ? я к такому виду подключения не привязан. можно сменить тока на что? но файл формата FoxPro 9.0 ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2013, 15:42 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JA ! Индекс тут не поможет, т.к. он может использоваться только в среде VFP (если конечно у тебя точно dbf-файл именно VFP)... Может быть сначала перетащить эти записи на какой-нибудь сервер (MSSQL,Oracle,...) ну и там индексы... вот с него и будет тебе счастье... Да и посмотри, сколько записей: Код: c# 1.
А то и тут их до и более может быть... ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 06:54 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Что-бы ты не делал, а 1500000 записей dbf будут всегда долго. Их нужно "перетаскивать" на какой-нибудь SQL. Если эти записи интенсивно "ведутся" то по нормальному сделать ни чего нельзя, нужно менять то приложение которое их "ведет". Можно конечно слепить типа аля сервер, который будет "вертеться" на той же машине где лежат эти полтора млн записей и общаться с ним по TCPIP, но это бугага будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 08:11 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Что делает OleDb-шный ExecuteReader() с dbf, он "затаскивает" в оперативку весь!!! файл dbf даже если запрос с WHERE. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 08:24 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
fortibransa, Вариант с перетаскиванием на сервер SQL невозможен мне его дают (dbf файл) раз в месяц и всегда новый. файл точно FoxPro 9.0 просто хотелось как то ускорить процес открытия после условия. а по поводу колличества записей их 1 548 000. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 16:20 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JA, размер записи? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 17:06 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
ИзопропилChumakov_JA, размер записи? а что вы подрозумеваите под словом размер ? объем файла 596 мб в нем 51 сторбец ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 18:57 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JAа что вы подрозумеваите под словом размер ? именно размер записи в байтах(в dbf они фиксированного размера), понятно, около 400 байтов. Chumakov_JAВариант с перетаскиванием на сервер SQL невозможен мне его дают (dbf файл) раз в месяц и всегда новый. И что с того? загрузить один в месяц раз в локальный SQL Express или что по вкусу, создать индекс и наступит счастье ... |
|||
:
Нравится:
Не нравится:
|
|||
11.03.2013, 19:40 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JAfortibransa, Вариант с перетаскиванием на сервер SQL невозможен мне его дают (dbf файл) раз в месяц и всегда новый. файл точно FoxPro 9.0 просто хотелось как то ускорить процес открытия после условия. а по поводу колличества записей их 1 548 000.Как раз прекрасный вариант, ну пусть час загружаешь, зато потом месяц счастья. Я работал с такой фигней, правда файл поменьше был, дык даже службу написал (файл давали на CD) скопировал его в нужный каталог на сервере, служба подхватила, закачала (причем ночью) и все бугага. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.03.2013, 07:57 |
|
Открытие и фильтрация DBF файла
|
|||
---|---|---|---|
#18+
Chumakov_JA !!! 1.5 ляма записей... это не так уж и много... У меня в проект грузятся более 5 лямов записей...каждый месяц... Окончание загрузки mer2_01.dbf (записей: 1449044) Затрачено времени: 00:12:58 Окончание загрузки mer10_01.dbf (записей: 4885782) Затрачено времени: 00:40:27 И ничего... ... |
|||
:
Нравится:
Не нравится:
|
|||
12.03.2013, 11:04 |
|
|
start [/forum/topic.php?fid=20&gotonew=1&tid=1405029]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
42ms |
get topic data: |
10ms |
get first new msg: |
7ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
others: | 314ms |
total: | 457ms |
0 / 0 |