Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Помогите.... Проблема в следующем, у меня есть таблица с примерно 2000000 записями, доступ к ней организован через ADO, если необходимо получить все записи (например в DBGrid), то открывается по 3-4 минуты. Как ускорить??? Заранее благодарен... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 12:22 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Лучше использовать компоненты прямого доступа. Если СУБД Oracle - то DOA компоненты, если SQL - сервер - MDAC. Будет точно быстрее, но насколько ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 12:31 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
С конкретной СУБД еще не определился, но нужны два варианта: один сетевой, другой локальный, причем для древнего железа типа P-100(166) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 12:33 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Как сказал бы pkarklin - а зачем в Гриде стока записей. Чего с ними делать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 12:38 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
2 RoVS Точно, у тебя че пользователи гении, что они могут все 2 лимона записей переварить. И как прикажете понимать фразу таблица с 2 лимонами записей, но с субд пока не определился . Счас то в чем у тебя все это храниться. И что значит обработать . Раз железо слабое, то хранилише надо выбирать соотвествующее, Paradox, например. Да и какая бы не была субд, обработка, да даже просто выборка такого кол-ва записей не может идти быстро. И еще одно настораживает. Таблица то почему одна. Мож надо нормализацией заняться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 12:51 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Может быть все 2 млн и не нужны, но выборки все-равно не малые. Может быть можно как-то получать записи порциями, штук по 200??? А база у меня сйчас FoxPro, а нужно бы сделать Clent-Server. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 15:01 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
А база у меня сйчас FoxPro, а нужно бы сделать Clent-Server. Надо сначала сервер выбрать. Может быть все 2 млн и не нужны, но выборки все-равно не малые. Может быть можно как-то получать записи порциями, штук по 200??? Ты можешь конкретно сказать. Что значит немалые. Так то и так. Нужен перечень звонков за месяц (в кол-ве 500 000), чтоб юзер сидел и 20 000 на PageDown давил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 15:24 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Нужно выбрать людей по некоторым признакам, например по принадлежности предприятию или по возрасту, проверить и распечатать. Я могу написать запрос. Но все варианты предусмотреть тяжело, а операторы сами запросы составлять не могут... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 16:02 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
А зачем тогда вообще это все писать на Delphi. Бери Excel и используй его Автофильтр. Там и ребенок разбереться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 16:12 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Ну, во-первых, смотря какой ребенок, а во-вторых с базой должны работать порядка 10 человек - причем тут Excel??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 16:21 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
а во-вторых с базой должны работать порядка 10 человек - причем тут Excel??? А что, один dbf можно тока одному юзеру открывать??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 16:27 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Почему один??? База большая и задач много, Это только одна из них, в которой мне нужно оьработать большую выборку. Кроме того в сети ведь решаются и другие задачи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 16:51 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Нужно выбрать людей по некоторым признакам, например по принадлежности предприятию или по возрасту, проверить и распечатать. Я могу написать запрос. Но все варианты предусмотреть тяжело, а операторы сами запросы составлять не могут... Ты что же, не в состоянии хотя бы 10-15 параметров для фильтрации предусмотреть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 17:13 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Да я в состоянии, а вот мои операторы... , да еще когда клиенты стоят над душой... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 17:21 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
А что, ты операторов заставляешь sql писать? Или они такие тупые, что не смогут поднять форму Фильтр и в нужных местах поставить нужные значения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 18:20 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Ну, у меня же операторы работают не в Excel, а с программой разработанной в VisualFoxPro ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 18:25 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Значит надо в наибольшей степени облегчить жизнь операторов - легкий выбор из справочников и т.д. и т.п. И гляньте в FAQ "Переменный WHERE". Может какие-то светлые мысли появятся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.04.2003, 19:45 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Слушай народ!! Кончайте чувака парить! Устроили базар. Был конкретный вопрос. Чего он там будет делать его личное дело. 2 млн записей-это серьезно. Для начала проиндесируй по полям, по которым ищешь, т.е. в WHERE испоьзуешь. Как работать с индексами, читай отдельно. Но вообще 2 лимона записей никто не выводит. Делай типа select top 1000 ...., а юзеру позволь править лимит вывода и все будет точить быстро. Со траничным выводом тоже есть свои проблемы. Если юзеру нужно будет все получить на машину, то 4 минуты и подождет, 2 лимона -это не 4 тысячи и мгновенно не нужно требовать от машины результатов. А вообще по организации обработок таких дел много всяких заморочек, пиши если что, советов могу дать еще несколько. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2003, 22:27 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Всем спасибо, учту все советы... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 10:24 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
разбить на несколько серверов и обязательно перейти на что-нибудь типа ORACLE, Interbase. Продукты MS в списке отсутствуют т.к. нет им доверия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 11:57 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
и в дополнение. Убери нафиг grid он такой тормаз надо извратится с массивами конечно они живут в памяти, но работают быстро. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:00 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
2 paul_c0 разбить на несколько серверов и обязательно перейти на что-нибудь типа ORACLE, Interbase. Продукты MS в списке отсутствуют т.к. нет им доверия. Ты че, опух ((с) реклама). Нафига всего для 2 лимонов записей несколько серверов. А про отсутствие довери, например, к MS SQL Server, можно по-подробнее, тока с фактами. и в дополнение. Убери нафиг grid он такой тормаз надо извратится с массивами конечно они живут в памяти, но работают быстро. Слушай, а с гридом какие тормоза. И почему массивы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:42 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
2RoVS Слушай попробуй моё изделие sss1024.narod.ru поддерживает VFP, MS SQL, PostgreSQL, Interbase - соответственно мож сначала посмотреть и только потом окончательно сервер выбрать есть удобный построитель запросов - вроде юзеры в состоянии с его помощью искать Предлагаю т.к. мне пока тестеры нужны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:48 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
А попробуй и увидиш разницу примерно в 10 раз. Тормоз возникает в момент отображения на экране. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:53 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
> paul_c0 и какой же тормоз? интересно ведь - не томи ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:54 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Тормоз возникает в момент отображения на экране. Мил друг, и где это у тебя тормоз то нарисовался. Исходник покажи, и строку кода, где тормоз возникает. И на счет сиквела ты че молчишь. Раз прокукарекал, то за базар отвечать надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:57 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Вообще, тормоз возникает при передаче выборки от СУБД к приложению, Grid здесь не причем, и проверял я с разными СУБД: Orace, MSSQL, Access, SUPDB и конечно же VFP6. Небольшие выборки срабатывают сразу, даже если предварительно приходится перелопатить всю базу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2003, 14:41 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Мне кажется, г-н paul_c0 издевается - судя по следующей цитате Убери нафиг grid он такой тормаз надо извратится с массивами конечно они живут в памяти, но работают быстро. - т.е. все дураки, пользуются гридами, а он молодец-извращенец всех перехитрил ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2003, 15:07 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Ну у каждого свои приколы... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2003, 15:09 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
Ухх Ну и запросы увас господа Программисты!! Прям титаническия 8) Ускорить? Ну с таким подходом, проще купить машину пользователю из верхних разделов конфигураций в прайс-листах 8)) И все-таки подумай : какой должна быть башка пользователя для прочитывания ~~2 млн записей из грида 8)) И спроси у него "Иван Иваныч, оно Вам надо глаза ломать? лимон записей два часа рассматривать" 8)) Ну а если серьозно - нужно дать пользователю возможность создать запрос чтобы сразу же получить тот объем данных на выходе который его интересует! Как - генерить запросы самому. - могу прорекламировать неплохую, но к сожалению коммерческую шутку : Simple Query . http://www.korzh.com/download/ Это набор компонент позволяющий конечному пользователю визуально создавать sql запросы типа select. Локализуется она просто, можно использовать стандартные BDE компоненты но при помощи посредников( или proxy) компонентов поставляющих инфу о табличках можно работать практически с любым сервером. Операторы освоили ее в среднем течении 2-3 часов (я говорю о тех операторов , кто абсолютно не знает что такое операция И/ИЛИ и ничего кроме WORDA раньше не использовал). Ломается эта штука достаточно просто. Вообщето можно ее не ломать а просто дурить (как рассказывать небуду - в Сети и без того инфы по краку хватает). Я бы может ее и купил но цены там на мой взгляд немного несуразные Что касаемо СУБД - тут конечно можно флейм долго разводить но ИМНО для наиболее простой масштабируемости лучше всего прокатит InterBase На локальную машину ставишь то что идет с Дельфями - на сервак - IB/Firebird. Такие решения работают (правда несмотря на то что число записей там в некоторых табличках и поболее бывает - никто целиком их юзеру не скидывает - это идиотизм из эпохи plainfile-databases) Спрашиватся а зачем тогда сервер? Свали себе db/dbf-шники на файлопомойку и пусть клиентская тачка пыхтит прокачивая их каждый раз.... Я стаким уже сталкивался и скажу однозначно - это маразм и ничего более. ;) Не повторяйте чужих глупостей - делайте собственные 8)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2003, 17:25 |
|
||
|
Как обработать 2млн записей???
|
|||
|---|---|---|---|
|
#18+
мня, начитался .. насмеялся.. На самом деле так и не смог понять, зачем выводить 2 млн. записей?? У самого чтото похожее, только не замечал необходимости выводить все эти записи (порядка 7000 записей в день набирается новых только). Нельзя никак все эти записи обрабатывать запросами и выдавать только отчеты? Звонки говоришь? хорошо, номера то телефонов у тебя будут совпадать, значит уже не все 2 млн записей, а на порядок меньше. Интересно когда и на сколько звонили на данный номер - еще один запрос с расшифровкой, собственно и весь алгоритм. С трудом вериться что у вас такого не будет и все значения строго уникальны. P.S. В Ецхель конечно было бы забавно все выводить, учитывая что в листе максимум 64К записей)))). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2003, 13:54 |
|
||
|
|

start [/forum/topic.php?all=1&fid=58&tid=2118363]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
93ms |
get topic data: |
13ms |
get forum data: |
4ms |
get page messages: |
85ms |
get tp. blocked users: |
1ms |
| others: | 252ms |
| total: | 479ms |

| 0 / 0 |
