ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Как обработать 2млн записей???
25 сообщений из 31, страница 1 из 2
  1  все
Как обработать 2млн записей???
    #32148742
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Помогите.... Проблема в следующем, у меня есть таблица с примерно 2000000 записями, доступ к ней организован через ADO, если необходимо получить все записи (например в DBGrid), то открывается по 3-4 минуты. Как ускорить??? Заранее благодарен...
...
Рейтинг: 0 / 0
25.04.2003, 12:22
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32148751
olga1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
olga1999
Участник
Лучше использовать компоненты прямого доступа. Если СУБД Oracle - то DOA компоненты, если SQL - сервер - MDAC. Будет точно быстрее, но насколько ?
...
Рейтинг: 0 / 0
25.04.2003, 12:31
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32148754
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
С конкретной СУБД еще не определился, но нужны два варианта: один сетевой, другой локальный, причем для древнего железа типа P-100(166)
...
Рейтинг: 0 / 0
25.04.2003, 12:33
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32148759
alexu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexu
Участник
Как сказал бы pkarklin - а зачем в Гриде стока записей. Чего с ними делать?
...
Рейтинг: 0 / 0
25.04.2003, 12:38
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32148771
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
2 RoVS

Точно, у тебя че пользователи гении, что они могут все 2 лимона записей переварить. И как прикажете понимать фразу таблица с 2 лимонами записей, но с субд пока не определился . Счас то в чем у тебя все это храниться. И что значит обработать . Раз железо слабое, то хранилише надо выбирать соотвествующее, Paradox, например. Да и какая бы не была субд, обработка, да даже просто выборка такого кол-ва записей не может идти быстро. И еще одно настораживает. Таблица то почему одна. Мож надо нормализацией заняться.
...
Рейтинг: 0 / 0
25.04.2003, 12:51
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32148996
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Может быть все 2 млн и не нужны, но выборки все-равно не малые. Может быть можно как-то получать записи порциями, штук по 200???

А база у меня сйчас FoxPro, а нужно бы сделать Clent-Server.
...
Рейтинг: 0 / 0
25.04.2003, 15:01
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149027
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
А база у меня сйчас FoxPro, а нужно бы сделать Clent-Server.

Надо сначала сервер выбрать.

Может быть все 2 млн и не нужны, но выборки все-равно не малые. Может быть можно как-то получать записи порциями, штук по 200???

Ты можешь конкретно сказать. Что значит немалые. Так то и так. Нужен перечень звонков за месяц (в кол-ве 500 000), чтоб юзер сидел и 20 000 на PageDown давил.
...
Рейтинг: 0 / 0
25.04.2003, 15:24
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149080
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Нужно выбрать людей по некоторым признакам, например по принадлежности предприятию или по возрасту, проверить и распечатать. Я могу написать запрос. Но все варианты предусмотреть тяжело, а операторы сами запросы составлять не могут...
...
Рейтинг: 0 / 0
25.04.2003, 16:02
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149102
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
А зачем тогда вообще это все писать на Delphi. Бери Excel и используй его Автофильтр. Там и ребенок разбереться.
...
Рейтинг: 0 / 0
25.04.2003, 16:12
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149117
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Ну, во-первых, смотря какой ребенок, а во-вторых с базой должны работать порядка 10 человек - причем тут Excel???
...
Рейтинг: 0 / 0
25.04.2003, 16:21
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149126
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
а во-вторых с базой должны работать порядка 10 человек - причем тут Excel???

А что, один dbf можно тока одному юзеру открывать???
...
Рейтинг: 0 / 0
25.04.2003, 16:27
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149147
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Почему один??? База большая и задач много, Это только одна из них, в которой мне нужно оьработать большую выборку. Кроме того в сети ведь решаются и другие задачи.
...
Рейтинг: 0 / 0
25.04.2003, 16:51
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149171
Фотография tygra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tygra
Участник
Нужно выбрать людей по некоторым признакам, например по принадлежности предприятию или по возрасту, проверить и распечатать. Я могу написать запрос. Но все варианты предусмотреть тяжело, а операторы сами запросы составлять не могут...

Ты что же, не в состоянии хотя бы 10-15 параметров для фильтрации предусмотреть?
...
Рейтинг: 0 / 0
25.04.2003, 17:13
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149185
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Да я в состоянии, а вот мои операторы... , да еще когда клиенты стоят над душой...
...
Рейтинг: 0 / 0
25.04.2003, 17:21
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149248
Фотография tygra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tygra
Участник
А что, ты операторов заставляешь sql писать?

Или они такие тупые, что не смогут поднять форму Фильтр и в нужных местах поставить нужные значения?
...
Рейтинг: 0 / 0
25.04.2003, 18:20
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149256
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Ну, у меня же операторы работают не в Excel, а с программой разработанной в VisualFoxPro
...
Рейтинг: 0 / 0
25.04.2003, 18:25
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149326
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cat2
Участник
Значит надо в наибольшей степени облегчить жизнь операторов - легкий выбор из справочников и т.д. и т.п. И гляньте в FAQ "Переменный WHERE". Может какие-то светлые мысли появятся.
...
Рейтинг: 0 / 0
25.04.2003, 19:45
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149515
Фотография aLexx Subb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aLexx Subb
Участник
Слушай народ!! Кончайте чувака парить! Устроили базар. Был конкретный вопрос. Чего он там будет делать его личное дело.

2 млн записей-это серьезно. Для начала проиндесируй по полям, по которым ищешь, т.е. в WHERE испоьзуешь. Как работать с индексами, читай отдельно.
Но вообще 2 лимона записей никто не выводит. Делай типа select top 1000 ...., а юзеру позволь править лимит вывода и все будет точить быстро. Со траничным выводом тоже есть свои проблемы. Если юзеру нужно будет все получить на машину, то 4 минуты и подождет, 2 лимона -это не 4 тысячи и мгновенно не нужно требовать от машины результатов. А вообще по организации обработок таких дел много всяких заморочек, пиши если что, советов могу дать еще несколько.
...
Рейтинг: 0 / 0
26.04.2003, 22:27
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149782
RoVS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RoVS
Гость
Всем спасибо, учту все советы...
...
Рейтинг: 0 / 0
28.04.2003, 10:24
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149947
paul_c0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paul_c0
Участник
разбить на несколько серверов и обязательно перейти на что-нибудь типа ORACLE, Interbase. Продукты MS в списке отсутствуют т.к. нет им доверия.
...
Рейтинг: 0 / 0
28.04.2003, 11:57
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32149955
paul_c0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paul_c0
Участник
и в дополнение. Убери нафиг grid он такой тормаз надо извратится с массивами
конечно они живут в памяти, но работают быстро.
...
Рейтинг: 0 / 0
28.04.2003, 12:00
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32150013
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
2 paul_c0

разбить на несколько серверов и обязательно перейти на что-нибудь типа ORACLE, Interbase. Продукты MS в списке отсутствуют т.к. нет им доверия.

Ты че, опух ((с) реклама). Нафига всего для 2 лимонов записей несколько серверов. А про отсутствие довери, например, к MS SQL Server, можно по-подробнее, тока с фактами.

и в дополнение. Убери нафиг grid он такой тормаз надо извратится с массивами конечно они живут в памяти, но работают быстро.

Слушай, а с гридом какие тормоза. И почему массивы.
...
Рейтинг: 0 / 0
28.04.2003, 12:42
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32150030
Фотография 1024
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1024
Участник
2RoVS

Слушай попробуй моё изделие sss1024.narod.ru

поддерживает VFP, MS SQL, PostgreSQL, Interbase - соответственно мож сначала посмотреть и только потом окончательно сервер выбрать

есть удобный построитель запросов - вроде юзеры в состоянии с его помощью искать

Предлагаю т.к. мне пока тестеры нужны.
...
Рейтинг: 0 / 0
28.04.2003, 12:48
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32150037
paul_c0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
paul_c0
Участник
А попробуй и увидиш разницу примерно в 10 раз.
Тормоз возникает в момент отображения на экране.
...
Рейтинг: 0 / 0
28.04.2003, 12:53
| Ответить | Цитировать | Написать  
Как обработать 2млн записей???
    #32150041
Фотография KirillovA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KirillovA
Участник
> paul_c0
и какой же тормоз?
интересно ведь - не томи )))
...
Рейтинг: 0 / 0
28.04.2003, 12:54
| Ответить | Цитировать | Написать  
25 сообщений из 31, страница 1 из 2
  1  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Как обработать 2млн записей???
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]