|
|
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидЕвгений Болтик10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый.В firebird'e затраты на prepare - ничтожные . ЗЫ. А kdv в том топике оказался прав , но я это оценил только после знакомства с миллиардершей Я не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет. То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:35:14 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Евгений БолтикЯ не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет. То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ.Мне ничего не понятно. Нельзя ли хотя бы знаки препинания расставить, да просто не торопиться при печати и перечитывать своё сообщение в предпросмотре, т.е. _до_ публикации ? (без обид, плз) ЗЫ. Лично я убедился на таблице в 10Е9 строк, что когда PP отсутствуют в кеше, то затраты на их "вычитку" могут длиться 20-30 сек. Но дальше этих затрат нет, там миллисекунды. До тех пор, ес-сно, пока таблицу из кеша кто-то не вытолкнет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:45:06 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоиддальше этих затрат нет, там миллисекунды. А, случайно так, не потому, что полученное значение кэшируется где-нибудь в кэше метаданных?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:51:21 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоиддальше этих затрат нет, там миллисекунды. А, случайно так, не потому, что полученное значение кэшируется где-нибудь в кэше метаданных?..Нет, это кеш операционки. Можно выйти из isql'я, мучительно читавшего PP (и дочитавшего таки), рестартовать ФБ, затем войти опять - и вычитка уже будет быстрой, без тормозов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 20:01:49 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидDimitry SibiryakovУвеличение ввода-вывода - тормоза. Горячая точка - большие тормоза. 2 DS : возможно, он говорит о периодически обновляемых (встроенным планировщиком ?) оценках: 1) кардинальности таблиц 2) гистограмм распределения данных. Такие обновления (например, раз в сутки ночером) не могут быть "горячей точкой". Но это в ФБ-3 если и будет, то очень нескоро, КМК. Вроде на бету тройки запланировано CORE-1082 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 20:32:18 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисВроде на бету тройки запланировано CORE-1082 псип! ("голосуем, а то проиграем!") ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 20:44:55 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидЕвгений БолтикЯ не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет. То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ.Мне ничего не понятно. Нельзя ли хотя бы знаки препинания расставить, да просто не торопиться при печати и перечитывать своё сообщение в предпросмотре, т.е. _до_ публикации ? (без обид, плз) ЗЫ. Лично я убедился на таблице в 10Е9 строк, что когда PP отсутствуют в кеше, то затраты на их "вычитку" могут длиться 20-30 сек. Но дальше этих затрат нет, там миллисекунды. До тех пор, ес-сно, пока таблицу из кеша кто-то не вытолкнет. без обид перечитываю ;). Сразу скажу чтобы не запутался речи про РР не было. Я не полную картину тогда раскрыл. Каждый препар+данные. Предположим прошли 9 таких препаре и получение данных о доступе, а 10-й получили в доступе отказано. То есть получается, дерганье даже по 1 строке данных о доступе накладней, чем за раз вернуться все 10 и их проверят на доступ. Но как ты понимаешь там не только доступ там еще и данные об индексах и т.п. Эту модель я понимаю, по той причине, что столкнулся с слабым VPN подключением и были запросы проверки доступа по объектно. В обычной сети все летало. Теперь получаю доступ сразу для всех объектов к которым будет доступ и + доп информацию которую дергал когда проверил доступ. Оказалось намного быстрей чем просто проверить доступ, а потом продолжить дальше дополнительные запросы. В более чем 18 раз быстрей стала загружаться программа. Опять же в обычной сети я этого прироста не вижу. Получается лопатил только для одного клиента. Зато он рад от 10 сек до 30 сек у него наточках подключаются. Если переложить это на сервер, то там сделано было так как сейчас сделано, по той причине, что тормозило раньше на том железе прошлого века. А сейчас мы спорим, что зачем так сделали. Единственное я не понимаю зачем все же РР туда так воткнули и почему так сделали подсчет РР. Харды же были медленные и можно было этот провал заметить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 20:58:34 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Евгений БолтикХарды же были медленные и можно было этот провал заметить.Провал виден на среднем (по сегодняшним меркам) диске при числе записей, которое в прошлом веке казалось нереальным. В том числе - из-за ёмкости большинства тогдашних хардов. Первый тест "большегрузной базы" сделал kdv в 2009 (а не в прошлом веке). Таблица у него была еще больше: 3.2 млрд записей, 359 Гб (см тут , таблица ORDER_LINE). На вот это: kdv После открытия БД prepare занимает около 20 секунд . Правда, повторная операция prepare происходит мгновенно. Это понятно – серверу в первый раз после соединения к БД необходимо загрузить метаданные, а они для таблиц и индексов находятся в очень отдаленных уголках файла БД.- я не обратил тогда никакого внимания, пока сам не упёрся в этот "артефакт". Однако есть подозрение, что в тесте kdv всё идет "от SYSDBA", т.к. никакого упоминания про недоступные объекты и время, потраченное на "осознание" этой недоступности, нету. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 21:20:47 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Грустно как-то. Почитал топик и решил провести подобные эксперименты с SQLite. SQLite конечно не версионник и не многопользовательская СУБД, но всё равно было интересно, насколько быстро оттуда будут работать запросы, при условии, что они себя позиционируют как СУБД для маленьких объёмов данных. Сделал в базе одну таблицу Код: sql 1. 2. 3. 4. 5. value1 и value2 заполнил рандомно, id - по автоинкременту. Всего 3 миллиарда записей. База получилась 45 Гб. Больше не стал пихать, т.к. на диске кончилось место. Перезагружаю комп. Первый запрос: Код: sql 1. время выполнения 1.3 мс O_o Повторно этот же запрос выполняется менее чем за 0.2 мс ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 12:46:25 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ArtDenSQLite конечно не версионник и не многопользовательская СУБДСравнение тёплого с липким. Тогда бы уж лучше на Cache` попробовали (только не в режиме прямой работы с глобалами, когда 100500 млн строк за 1 сек вставляются; этот фокус тут не прокатит :)). Они хотя бы утверждают, что многопользовательские (правда, не версионник, а блокировочник). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 13:01:11 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ArtDenid - по автоинкременту. Всего 3 миллиарда записей. А какое значение стало у Id сразу после 2 147 483 647? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 13:23:02 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
NickDeeА какое значение стало у Id сразу после 2 147 483 647? :) Правильное стало :) Для кого-то это будет открытием, но SQLite хранит целые числа полем переменной длины от 1 до 8 байт в зависимости от значения поля: http://sqlite.org/datatype3.html авторINTEGER. The value is a signed integer, stored in 1, 2, 3, 4, 6, or 8 bytes depending on the magnitude of the value. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 13:33:07 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ArtDen Всего 3 миллиарда записей. База получилась 45 Гб. Больше не стал пихать, т.к. на диске кончилось место. По поводу объемов, я перегнал свою экспериментальную базу из FB в SQlite обьем базы меньше в 2 раза при той-же структуре. Сейчас база SQLite весит более 350 ГБ, глюков и сбоев не замечено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 22:44:25 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Sheezя перегнал свою экспериментальную базу из FB в SQlite обьем базы меньше в 2 раза при той-же структуре. Сейчас база SQLite весит более 350 ГБ, глюков и сбоев не замечено....при одновременной работе 300 пользователей, правильно ведь ? ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2013, 22:58:21 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38406553&tid=1564260]: |
0ms |
get settings: |
7ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
180ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
2ms |
| others: | 202ms |
| total: | 471ms |

| 0 / 0 |
