Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Очень медленное индексирвоние данных / 17 сообщений из 17, страница 1 из 1
26.08.2010, 13:35
    #36812911
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Имеется таблица 15 млн записей с 2 полями integer и вот накладывается уникальный индекс по этим 2м полям.
В результате данные индексируются больше суток. В чем может быть причина такого медленного создания индекса?
...
Рейтинг: 0 / 0
26.08.2010, 16:44
    #36813571
exST
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Медленное оборудование?
...
Рейтинг: 0 / 0
26.08.2010, 22:45
    #36814262
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
exSTМедленное оборудование?
2х ядерный проц 2 ГГц, 4 ГБ памяти
...
Рейтинг: 0 / 0
26.08.2010, 23:51
    #36814337
Alexbootch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Миколай, в теме Сборки SQLite выложены оптимизированная библиотека SQLite 3. Попробуй использовать ее.
...
Рейтинг: 0 / 0
27.08.2010, 09:13
    #36814601
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
индексирую с помощью следующей команды

sqlite3.exe MyBase.db < "CreateIndexes.sql"

Как я понимаю для использования оптимизированной dll мне на делфи надо написать консольное приложение которое будет брать строки из файла CreateIndexes.sql и применять их к базе.
Попробую на выходных.
...
Рейтинг: 0 / 0
27.08.2010, 09:53
    #36814678
Alexbootch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
МиколайКак я понимаю для использования оптимизированной dll мне на делфи надо написать консольное приложение которое будет брать строки из файла CreateIndexes.sql и применять их к базе.

Миколай, не обязательно писать консольное приложение на делфи - можно использовать и стандартную консольную утилиту sqlite3.exe, просто нужно заменить библиотеки, используемые sqlite3.exe в папке с самой утилитой либо в папке C:\Windows\System32
...
Рейтинг: 0 / 0
27.08.2010, 10:10
    #36814733
exST
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
МиколайexSTМедленное оборудование?
2х ядерный проц 2 ГГц, 4 ГБ памяти

Производительность в диск не упирается?
...
Рейтинг: 0 / 0
27.08.2010, 10:24
    #36814778
Alexbootch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Ну а Вы как думаете? Конечно зависит. Самая лучшая производительность на твердотельных накопителях SSD
...
Рейтинг: 0 / 0
27.08.2010, 12:31
    #36815245
MBG
MBG
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
AlexbootchНу а Вы как думаете? Конечно зависит. Самая лучшая производительность на твердотельных накопителях SSD

Самая лучшая - на RAM-диске. Хотя на SSD почти так же работает, разница минимальна. Тесты есть, ежели что.

По вопросу топикстартера: в три раза увеличится скорость при увеличении размера page_size до 8к, плюс нужно cache_size увеличить, в общем, см. сборку, на которую выше приводилась ссылка.
...
Рейтинг: 0 / 0
29.08.2010, 23:53
    #36818067
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Ответить.
SQLite.exe так и не смог настроить на работу с dll. На мой взгляд это вполне автономная штука. А вот библиотечку на делфи прикрутил. Завтра проведу тесты на медленном компьютере.
...
Рейтинг: 0 / 0
30.08.2010, 09:58
    #36818307
Alexbootch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
МиколайОтветить.
SQLite.exe так и не смог настроить на работу с dll. На мой взгляд это вполне автономная штука. А вот библиотечку на делфи прикрутил. Завтра проведу тесты на медленном компьютере.

Ничего там не надо прикручивать. Скачиваешь архив sqlite-3_7_2.zip с оф сайта, разархивируешь его в какую-нибудь папку (например, C:\sqlite-3_7-2). В указанную папку кладешь следующие файлы:icudt38.dll, icuin38.dll, icuuc38.dll, mingwm10.dll и sqlite3.dll, ссылка на скачивания которых проводилась выше. Все должно работать. Так как библиотека sqlite3.dll скомпилирована с поддержкой ICU, то без указанных выше файлов работать не будет.
...
Рейтинг: 0 / 0
06.09.2010, 17:23
    #36832458
Alexbootch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Миколай, вы бы хоть отписались бы для интереса какие результаты у Вас получились при индексировании 15 млн. записей?
...
Рейтинг: 0 / 0
17.09.2010, 15:18
    #36852429
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Извиняюсь, у меня свадьба была, а потом с женой в Египет уехал.
У меня локально все работает. Буду с понедельника заказчика трясти чтобы узнать результат.
...
Рейтинг: 0 / 0
20.09.2010, 09:36
    #36854729
exST
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
МиколайИзвиняюсь, у меня свадьба была, а потом с женой в Египет уехал.
У меня локально все работает. Буду с понедельника заказчика трясти чтобы узнать результат.

Поздравляю!
...
Рейтинг: 0 / 0
20.09.2010, 10:26
    #36854800
Dmitry Arefiev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Присоединяюсь - поздравляю !
...
Рейтинг: 0 / 0
17.12.2010, 13:58
    #37020643
Миколай
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
Извиняюсь что долго не отписыпался.
Новая сборка помогла. Проблема медленного индексирования в медленном жестком диске заказчика.
...
Рейтинг: 0 / 0
17.12.2010, 18:08
    #37021543
Dmitry Arefiev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Очень медленное индексирвоние данных
PS: Долго гулял ...
...
Рейтинг: 0 / 0
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Очень медленное индексирвоние данных / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]