powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
14 сообщений из 189, страница 8 из 8
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406543
Евгений Болтик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидЕвгений Болтик10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый.В firebird'e затраты на prepare - ничтожные .

ЗЫ. А kdv в том топике оказался прав , но я это оценил только после знакомства с миллиардершей

Я не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет.
То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406552
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений БолтикЯ не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет.
То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ.Мне ничего не понятно. Нельзя ли хотя бы знаки препинания расставить, да просто не торопиться при печати и перечитывать своё сообщение в предпросмотре, т.е. _до_ публикации ? (без обид, плз)

ЗЫ. Лично я убедился на таблице в 10Е9 строк, что когда PP отсутствуют в кеше, то затраты на их "вычитку" могут длиться 20-30 сек. Но дальше этих затрат нет, там миллисекунды. До тех пор, ес-сно, пока таблицу из кеша кто-то не вытолкнет.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406553
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоиддальше этих затрат нет, там миллисекунды.
А, случайно так, не потому, что полученное значение кэшируется где-нибудь в кэше метаданных?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406562
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТаблоиддальше этих затрат нет, там миллисекунды.
А, случайно так, не потому, что полученное значение кэшируется где-нибудь в кэше метаданных?..Нет, это кеш операционки. Можно выйти из isql'я, мучительно читавшего PP (и дочитавшего таки), рестартовать ФБ, затем войти опять - и вычитка уже будет быстрой, без тормозов.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406590
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидDimitry SibiryakovУвеличение ввода-вывода - тормоза.
Горячая точка - большие тормоза. 2 DS : возможно, он говорит о периодически обновляемых (встроенным планировщиком ?) оценках:
1) кардинальности таблиц
2) гистограмм распределения данных.
Такие обновления (например, раз в сутки ночером) не могут быть "горячей точкой".

Но это в ФБ-3 если и будет, то очень нескоро, КМК.

Вроде на бету тройки запланировано CORE-1082
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406594
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисВроде на бету тройки запланировано CORE-1082 псип! ("голосуем, а то проиграем!")
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406597
Евгений Болтик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидЕвгений БолтикЯ не полную картину тогда раскрыл. Каждый препар+данные 9 таких были препаре и получение данных о доступе, а 10 получили а доступа нет.
То есть получается дерганье по 1 строке данных накладней чем за раз вернуться все 10 и их проверят на доступ.Мне ничего не понятно. Нельзя ли хотя бы знаки препинания расставить, да просто не торопиться при печати и перечитывать своё сообщение в предпросмотре, т.е. _до_ публикации ? (без обид, плз)

ЗЫ. Лично я убедился на таблице в 10Е9 строк, что когда PP отсутствуют в кеше, то затраты на их "вычитку" могут длиться 20-30 сек. Но дальше этих затрат нет, там миллисекунды. До тех пор, ес-сно, пока таблицу из кеша кто-то не вытолкнет.

без обид перечитываю ;). Сразу скажу чтобы не запутался речи про РР не было.

Я не полную картину тогда раскрыл. Каждый препар+данные.

Предположим прошли 9 таких препаре и получение данных о доступе, а 10-й получили в доступе отказано.
То есть получается, дерганье даже по 1 строке данных о доступе накладней, чем за раз вернуться все 10 и их проверят на доступ.
Но как ты понимаешь там не только доступ там еще и данные об индексах и т.п.

Эту модель я понимаю, по той причине, что столкнулся с слабым VPN подключением и были запросы проверки доступа по объектно. В обычной сети все летало. Теперь получаю доступ сразу для всех объектов к которым будет доступ и + доп информацию которую дергал когда проверил доступ. Оказалось намного быстрей чем просто проверить доступ, а потом продолжить дальше дополнительные запросы. В более чем 18 раз быстрей стала загружаться программа. Опять же в обычной сети я этого прироста не вижу. Получается лопатил только для одного клиента. Зато он рад от 10 сек до 30 сек у него наточках подключаются.

Если переложить это на сервер, то там сделано было так как сейчас сделано, по той причине, что тормозило раньше на том железе прошлого века. А сейчас мы спорим, что зачем так сделали. Единственное я не понимаю зачем все же РР туда так воткнули и почему так сделали подсчет РР. Харды же были медленные и можно было этот провал заметить.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406603
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений БолтикХарды же были медленные и можно было этот провал заметить.Провал виден на среднем (по сегодняшним меркам) диске при числе записей, которое в прошлом веке казалось нереальным. В том числе - из-за ёмкости большинства тогдашних хардов.
Первый тест "большегрузной базы" сделал kdv в 2009 (а не в прошлом веке). Таблица у него была еще больше: 3.2 млрд записей, 359 Гб (см тут , таблица ORDER_LINE).
На вот это: kdv После открытия БД prepare занимает около 20 секунд . Правда, повторная операция prepare происходит мгновенно. Это понятно – серверу в первый раз после соединения к БД необходимо загрузить метаданные, а они для таблиц и индексов находятся в очень отдаленных уголках файла БД.- я не обратил тогда никакого внимания, пока сам не упёрся в этот "артефакт".

Однако есть подозрение, что в тесте kdv всё идет "от SYSDBA", т.к. никакого упоминания про недоступные объекты и время, потраченное на "осознание" этой недоступности, нету.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417633
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Грустно как-то. Почитал топик и решил провести подобные эксперименты с SQLite. SQLite конечно не версионник и не многопользовательская СУБД, но всё равно было интересно, насколько быстро оттуда будут работать запросы, при условии, что они себя позиционируют как СУБД для маленьких объёмов данных.

Сделал в базе одну таблицу
Код: sql
1.
2.
3.
4.
5.
create table test (
  id integer not null primary key,
  value1 integer not null,
  value2 integer not null
);


value1 и value2 заполнил рандомно, id - по автоинкременту. Всего 3 миллиарда записей. База получилась 45 Гб. Больше не стал пихать, т.к. на диске кончилось место.

Перезагружаю комп. Первый запрос:
Код: sql
1.
select * from test t where t = 2000000000


время выполнения 1.3 мс O_o
Повторно этот же запрос выполняется менее чем за 0.2 мс
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417639
ArtDenSQLite конечно не версионник и не многопользовательская СУБДСравнение тёплого с липким.
Тогда бы уж лучше на Cache` попробовали (только не в режиме прямой работы с глобалами, когда 100500 млн строк за 1 сек вставляются; этот фокус тут не прокатит :)). Они хотя бы утверждают, что многопользовательские (правда, не версионник, а блокировочник).
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417654
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ArtDenid - по автоинкременту. Всего 3 миллиарда записей.
А какое значение стало у Id сразу после 2 147 483 647? :)
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417658
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
NickDeeА какое значение стало у Id сразу после 2 147 483 647? :)
Правильное стало :) Для кого-то это будет открытием, но SQLite хранит целые числа полем переменной длины от 1 до 8 байт в зависимости от значения поля: http://sqlite.org/datatype3.html
авторINTEGER. The value is a signed integer, stored in 1, 2, 3, 4, 6, or 8 bytes depending on the magnitude of the value.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417861
Sheez
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ArtDen Всего 3 миллиарда записей. База получилась 45 Гб. Больше не стал пихать, т.к. на диске кончилось место.


По поводу объемов, я перегнал свою экспериментальную базу из FB в SQlite обьем базы меньше в 2 раза при той-же структуре.
Сейчас база SQLite весит более 350 ГБ, глюков и сбоев не замечено.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38417865
Sheezя перегнал свою экспериментальную базу из FB в SQlite обьем базы меньше в 2 раза при той-же структуре.
Сейчас база SQLite весит более 350 ГБ, глюков и сбоев не замечено....при одновременной работе 300 пользователей, правильно ведь ? ;-)
...
Рейтинг: 0 / 0
14 сообщений из 189, страница 8 из 8
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]