|
База данных на 50 млн. записей
|
|||
---|---|---|---|
#18+
Здравствуйте! Помогите решить вопрос такого характера. Импортирую txt-файла (экспорт из БД Cronos) в базу данных SQLite с помощью SQLite Maestro v12.1.0. База в ANSI кодировке (кирилица). Поначалу втянул порядка 1 млн. записей. Проиндексировал по 1 полю и решил протестировать простые запросы в самом SQLite Maestro. Что меня обрадовало, это то, что при точном запросе (select * from BD where [Field01]='ПЕТРОВ') SQLite обеспечивает высокую скорость (порядка 0,5-1 с). И что меня огорчило, так это то, что только запрос задаешь не явным способом (select * from BD where [Field01] like 'ПЕТРО%') так скорость выборки растягивается до 4-5 мин. А это только 1 млн. записей из запланированных 50 млн. Чувствую, что я что-то не учел: или то, что это кирилица и ее сравнивать для SQLite сложнее, а лучше втягивать в базу информацию в UTF-8, а результат потом конвертировать в кирилицу или что-то еще. Подскажите где у меня тут грабли... или подскажите еще варианты реализации работы с такой базой но другими средствами.. Спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
15.09.2012, 04:03 |
|
База данных на 50 млн. записей
|
|||
---|---|---|---|
#18+
svi2012 И что меня огорчило, так это то, что только запрос задаешь не явным способом (select * from BD where [Field01] like 'ПЕТРО%')"не явный способ" это такое новое слово в базах данных, да? svi2012 так скорость выборки растягивается до 4-5 мин. А это только 1 млн. записей из запланированных 50 млн.Читать здесь: http://www.sqlite.org/fts3.html svi2012 Чувствую, что я что-то не учел: или то, что это кирилица и ее сравнивать для SQLite сложнее, а лучше втягивать в базу информацию в UTF-8, а результат потом конвертировать в кирилицу или что-то еще.Обрати внимание на последний абзац второй главы. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.09.2012, 23:52 |
|
|
start [/forum/topic.php?fid=54&msg=37958673&tid=2008974]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
28ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
others: | 271ms |
total: | 382ms |
0 / 0 |