powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
25 сообщений из 189, страница 7 из 8
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403879
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоидgfix -shut вернул управление, но движок после этого еще 2.5 минуты продолжал запись откатов
движок ли? FW ON или OFF?
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403888
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrТаблоидgfix -shut вернул управление, но движок после этого еще 2.5 минуты продолжал запись откатов
движок ли? FW ON или OFF?FW=OFF (а я же высылал тебе эту базейку вчера...).
Но если надо, могу и на ON проверить.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403890
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

проверь, оно может тебя удивить...
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403894
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrпроверь, оно может тебя удивить...Хорошо, проверю.
Сделал новый топег на эту тему, как ты сказал. Результаты выложу там.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403897
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисТы проверь на последнем 2.5ну проверь сам-то, на 2.5. Ты же грозился вроде с большой таблицей поиграться, не ?
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403950
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

дык игрался уже со 10E8. И таки да откаты не очень быстры, но их же обещали ускорить.

Про миллиард записей в таблице во время подготовки запроса вроде Дмитрий говорил, что в этом направлении ещё ничего не сделано. Вот сделает Влад экстенты, асинхронный IO и мультиблочное чтение тогда можно будет посмотреть, а пока и без того есть много мест для тестирования. Хотя экстенты обещались только для DP, может и PP будут выделятся группами. а это теоретически позволит ускорить первую подготовку запроса.

P.S. Если я ересь написал просьба меня поправить.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403956
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисПро миллиард записей в таблице во время подготовки запроса вроде Дмитрий говорил, что в этом направлении ещё ничего не сделано. Вот сделает Влад экстенты, асинхронный IO и мультиблочное чтение тогда можно будет посмотреть, а пока и без того есть много мест для тестирования. Хотя экстенты обещались только для DP, может и PP будут выделятся группами. а это теоретически позволит ускорить первую подготовку запроса.Но я не про подготовку запроса говорю. Она тут вообще мало интересна, да и на разогретой базе-миллиарднице выполняется за 2-3 секунды.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403960
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

вообще-то в начале темы разговор был именно об этом. Но ты как всегда перевёл её в другое русло.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403969
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисвообще-то в начале темы разговор был именно об этом. Но ты как всегда перевёл её в другое русло.В этом топеге, начатом в ноябре 2012, вскрылось много чего. Задержки в препарировании из-за большого числа PP - это только одна из тем.
Я возобновил разговор вчера с вопросом об отражении в статистике времени ожидания IO, а затем уже спросил про "отмотки назад".
Все эти артефакты объединены общим: таблицей большого размера. Выносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403971
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Даже я, когда общаюсь с "нашим" разработчиком, периодически дроблю единую (для нас) проблему на несколько. И это - платная поддержка.
А здесь - форум, которому не очень интересно отслеживать "внутреннее состояние объекта Таблоид".
Поэтому разумным является или личное общение или, всё-таки, дробление тем с предварительным обдумыванием на тему "а надо ли вообще спрашивать публично?".
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403994
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovДаже я, когда общаюсь с "нашим" разработчиком, периодически дроблю единую (для нас) проблему на несколько. И это - платная поддержка.
А здесь - форум, которому не очень интересно отслеживать "внутреннее состояние объекта Таблоид".
Поэтому разумным является или личное общение или, всё-таки, дробление тем с предварительным обдумыванием на тему "а надо ли вообще спрашивать публично?".А ты тут за весь форум вещаешь, что ле ? я и не знал, что коллективный разум теперь в твоей персоне воплощен :-)
Прежде, чем спрашивать, я всегда делаю проверку. Дважды. А затем стараюсь писать вопрос так, чтобы не нужно было лезть за предысторией куда-то вверх в этом же топике. Либо же тынц на пост добавляю - но в любом случае делаю так, чтобы не нужно было долго вспоминать "контекст беседы".
В упор не понимаю, для чего плодить новый топег, если старый не утонул и отклонение от его темы незначительное.

ЗЫ. Да, и насчет публичности. Тебе, наверное, платный саппорт помогает, либо в ФБ всё давно ясно и понятно. Оттого тебя с вопросами тут и не видно (5 топиков за 5 лет :)).
У нас такого саппорта никогда не было, а база продакшена оказалась сразу сильно нагруженной, плюс сумасшедшие огрехи разрабов клиентской части приложения, плюс идиотизм проектировщика схемы (его я бы лично убил об стенку). В то время 2.5 еще только как RC-2 был, а на 2.1 всё просто помирало (семафоры, кажись, проблемы вызывали - не помню уже). Перешли мы на этот 2.5 RC - и оказалось, что поддержку по нему можно спрашивать только тут, у Влада или ДЕ.
ЗЗЫ. Не было бы Влада и ДЕ на этом форуме - соскочили бы с ФБ очень многие. ИМХО.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403997
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

да нет как раз многие вещи надо публично обсуждать. И Таблоид правильно делает. Правда иногда слишком увлекается...
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38403999
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Вот тебе смыслы:
1. невозможно перечитывать эти 7 страниц (а ведь их будет больше), в поисках деталей теста или проблемы, перескакивая с пятого на тридцать пятое
2. элементарно забыть\потерять какую-то из проблем, рассыпанных по этим страницам и закопанным в потоке флуда и других проблем

Достаточно ?
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38404000
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,

+1
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38404004
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Вот тебе смыслы:
1. невозможно перечитывать эти 7 страниц (а ведь их будет больше), в поисках деталей теста или проблемы, перескакивая с пятого на тридцать пятое
2. элементарно забыть\потерять какую-то из проблем, рассыпанных по этим страницам и закопанным в потоке флуда и других проблем

Достаточно ?А чем поиск ВНЕ топика, т.е. в оглавлении тем, лучше ?! в заголовок темы часто не затолкаешь всего, что надо! я по-максимуму стараюсь тему сделать информативной, но с течением времени всё равно забываю даже обрывки её формулировки. Искать в итоге приходится "нырянием" в каждый "подозрительно похожий" топик - т.е. опять ВНУТРЬ заходить надо.

Впрочем, как хотите, джентльмены. Желаете "фрагментацию" - будет пять топиков с перекрестными ссылками друг на друга, и все - вокруг одного и того же миллиарда записей (например).
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38404005
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисИ Таблоид правильно делает. Правда иногда слишком увлекается..."Тост должен быть кратким, как выстрел".
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38404006
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
"Желаю, чтобы все!" - ?
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38404022
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис> да нет как раз многие вещи надо публично обсуждать

+ много

Симонов Денис> И Таблоид правильно делает

Смотря что. Много чего и неправильно, о многом уже и говорилось.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406476
Евгений Болтик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvТаблоидпочему для препарирования запроса надо лазить по всем PP ? Чем это вызвано ?
склероз у тебя, хотя dataaccesspaths ты вроде неоднократно читал. по PP сервер вычисляет кардинальность таблицы, т.е. сколько там может быть записей (теоретически).

Во наконец то. Ему надо теоретическое значение, тогда почему не прилепите в таблице поле в котором для сервера теоритически будут добавляться и удаляться количества записей и не надо будет бегать чего то пересчитывать каждый раз.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406482
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений Болтикпочему не прилепите
Увеличение ввода-вывода - тормоза.
Горячая точка - большие тормоза.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406490
Евгений Болтик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидdimitrПростого парсинга тут недостаточно, т.к. надо проверять весь граф поднятых запросов зависимостей. Да и вообще, не получается там по-другому. Ну, подняли граф зависимостей, там 10 объектов.
Что мешает сначала выяснить права на них, немедленно выдавая отказ в работе при отсутствии хотя бы одного из прав, а затем вычитывать PP ??

Я так понимаю можно это сделать, но это не надо т.к. таких ситуаций 1 на миллион, а переделок куча. Обычно когда кто то ломится получить от сервера у него есть на это права. Хотя тоже согласен нафига чет делать если нет доступа.

Есть единственная засада накладные расходы на дерганье по отдельности 10 объектов по сравнению с 1 дерганьем но всех данных. Я с таким сталкивался. Понимаешь когда система слабенькая и видно как тормозят отдельно идущие запросы. Связал в один пучек и обалдел просто раньше лень было писать и нужды не было. 10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый. Я прав ГУРУ?
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406519
Евгений Болтик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovЕвгений Болтикпочему не прилепите
Увеличение ввода-вывода - тормоза.
Горячая точка - большие тормоза.


А вот тут поподробней с чего бы это тормоза. Пусть даже будет 65000 таблиц в базе это настолько мало по сравнению с данными. Дергаться та будут одни и те же строки. Я понимаю что мам блокировки и т.п. но это можно решить теми же способами что ты с агрегатами предлагал мне почитать. Зато оценка на порядки будет быстрей, не надо будет IO лишние делать. Или может мы друг друга не поняли ;)
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406530
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений Болтик10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый.В firebird'e затраты на prepare - ничтожные .

ЗЫ. А kdv в том топике оказался прав , но я это оценил только после знакомства с миллиардершей
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406535
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovУвеличение ввода-вывода - тормоза.
Горячая точка - большие тормоза. 2 DS : возможно, он говорит о периодически обновляемых (встроенным планировщиком ?) оценках:
1) кардинальности таблиц
2) гистограмм распределения данных.
Такие обновления (например, раз в сутки ночером) не могут быть "горячей точкой".

Но это в ФБ-3 если и будет, то очень нескоро, КМК.
...
Рейтинг: 0 / 0
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38406539
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоидвозможно, он говорит о периодически обновляемых (встроенным планировщиком ?)
оценках
Пока он не сформулирует своё предложение точно и не изложит его полными
предложениями, ни ты, ни я это не узнаем.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25 сообщений из 189, страница 7 из 8
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]