|
|
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоидgfix -shut вернул управление, но движок после этого еще 2.5 минуты продолжал запись откатов движок ли? FW ON или OFF? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 14:03:46 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
dimitrТаблоидgfix -shut вернул управление, но движок после этого еще 2.5 минуты продолжал запись откатов движок ли? FW ON или OFF?FW=OFF (а я же высылал тебе эту базейку вчера...). Но если надо, могу и на ON проверить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 14:28:46 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, проверь, оно может тебя удивить... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 14:31:14 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
dimitrпроверь, оно может тебя удивить...Хорошо, проверю. Сделал новый топег на эту тему, как ты сказал. Результаты выложу там. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 14:36:36 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисТы проверь на последнем 2.5ну проверь сам-то, на 2.5. Ты же грозился вроде с большой таблицей поиграться, не ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 14:40:31 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, дык игрался уже со 10E8. И таки да откаты не очень быстры, но их же обещали ускорить. Про миллиард записей в таблице во время подготовки запроса вроде Дмитрий говорил, что в этом направлении ещё ничего не сделано. Вот сделает Влад экстенты, асинхронный IO и мультиблочное чтение тогда можно будет посмотреть, а пока и без того есть много мест для тестирования. Хотя экстенты обещались только для DP, может и PP будут выделятся группами. а это теоретически позволит ускорить первую подготовку запроса. P.S. Если я ересь написал просьба меня поправить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 15:33:25 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисПро миллиард записей в таблице во время подготовки запроса вроде Дмитрий говорил, что в этом направлении ещё ничего не сделано. Вот сделает Влад экстенты, асинхронный IO и мультиблочное чтение тогда можно будет посмотреть, а пока и без того есть много мест для тестирования. Хотя экстенты обещались только для DP, может и PP будут выделятся группами. а это теоретически позволит ускорить первую подготовку запроса.Но я не про подготовку запроса говорю. Она тут вообще мало интересна, да и на разогретой базе-миллиарднице выполняется за 2-3 секунды. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 15:40:05 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, вообще-то в начале темы разговор был именно об этом. Но ты как всегда перевёл её в другое русло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 15:43:26 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов Денисвообще-то в начале темы разговор был именно об этом. Но ты как всегда перевёл её в другое русло.В этом топеге, начатом в ноябре 2012, вскрылось много чего. Задержки в препарировании из-за большого числа PP - это только одна из тем. Я возобновил разговор вчера с вопросом об отражении в статистике времени ожидания IO, а затем уже спросил про "отмотки назад". Все эти артефакты объединены общим: таблицей большого размера. Выносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 15:56:17 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Даже я, когда общаюсь с "нашим" разработчиком, периодически дроблю единую (для нас) проблему на несколько. И это - платная поддержка. А здесь - форум, которому не очень интересно отслеживать "внутреннее состояние объекта Таблоид". Поэтому разумным является или личное общение или, всё-таки, дробление тем с предварительным обдумыванием на тему "а надо ли вообще спрашивать публично?". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:01:34 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovДаже я, когда общаюсь с "нашим" разработчиком, периодически дроблю единую (для нас) проблему на несколько. И это - платная поддержка. А здесь - форум, которому не очень интересно отслеживать "внутреннее состояние объекта Таблоид". Поэтому разумным является или личное общение или, всё-таки, дробление тем с предварительным обдумыванием на тему "а надо ли вообще спрашивать публично?".А ты тут за весь форум вещаешь, что ле ? я и не знал, что коллективный разум теперь в твоей персоне воплощен :-) Прежде, чем спрашивать, я всегда делаю проверку. Дважды. А затем стараюсь писать вопрос так, чтобы не нужно было лезть за предысторией куда-то вверх в этом же топике. Либо же тынц на пост добавляю - но в любом случае делаю так, чтобы не нужно было долго вспоминать "контекст беседы". В упор не понимаю, для чего плодить новый топег, если старый не утонул и отклонение от его темы незначительное. ЗЫ. Да, и насчет публичности. Тебе, наверное, платный саппорт помогает, либо в ФБ всё давно ясно и понятно. Оттого тебя с вопросами тут и не видно (5 топиков за 5 лет :)). У нас такого саппорта никогда не было, а база продакшена оказалась сразу сильно нагруженной, плюс сумасшедшие огрехи разрабов клиентской части приложения, плюс идиотизм проектировщика схемы (его я бы лично убил об стенку). В то время 2.5 еще только как RC-2 был, а на 2.1 всё просто помирало (семафоры, кажись, проблемы вызывали - не помню уже). Перешли мы на этот 2.5 RC - и оказалось, что поддержку по нему можно спрашивать только тут, у Влада или ДЕ. ЗЗЫ. Не было бы Влада и ДЕ на этом форуме - соскочили бы с ФБ очень многие. ИМХО. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:34:22 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, да нет как раз многие вещи надо публично обсуждать. И Таблоид правильно делает. Правда иногда слишком увлекается... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:38:18 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Вот тебе смыслы: 1. невозможно перечитывать эти 7 страниц (а ведь их будет больше), в поисках деталей теста или проблемы, перескакивая с пятого на тридцать пятое 2. элементарно забыть\потерять какую-то из проблем, рассыпанных по этим страницам и закопанным в потоке флуда и других проблем Достаточно ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:43:01 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов Денис, +1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:43:16 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
hvladТаблоидВыносить в отдельный топег каждый под вопрос, возникающий в ЭТОЙ базе, смысла не вижу никакого.Вот тебе смыслы: 1. невозможно перечитывать эти 7 страниц (а ведь их будет больше), в поисках деталей теста или проблемы, перескакивая с пятого на тридцать пятое 2. элементарно забыть\потерять какую-то из проблем, рассыпанных по этим страницам и закопанным в потоке флуда и других проблем Достаточно ?А чем поиск ВНЕ топика, т.е. в оглавлении тем, лучше ?! в заголовок темы часто не затолкаешь всего, что надо! я по-максимуму стараюсь тему сделать информативной, но с течением времени всё равно забываю даже обрывки её формулировки. Искать в итоге приходится "нырянием" в каждый "подозрительно похожий" топик - т.е. опять ВНУТРЬ заходить надо. Впрочем, как хотите, джентльмены. Желаете "фрагментацию" - будет пять топиков с перекрестными ссылками друг на друга, и все - вокруг одного и того же миллиарда записей (например). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:52:02 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисИ Таблоид правильно делает. Правда иногда слишком увлекается..."Тост должен быть кратким, как выстрел". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:52:30 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
"Желаю, чтобы все!" - ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 16:57:31 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов Денис> да нет как раз многие вещи надо публично обсуждать + много Симонов Денис> И Таблоид правильно делает Смотря что. Много чего и неправильно, о многом уже и говорилось. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 17:35:20 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
kdvТаблоидпочему для препарирования запроса надо лазить по всем PP ? Чем это вызвано ? склероз у тебя, хотя dataaccesspaths ты вроде неоднократно читал. по PP сервер вычисляет кардинальность таблицы, т.е. сколько там может быть записей (теоретически). Во наконец то. Ему надо теоретическое значение, тогда почему не прилепите в таблице поле в котором для сервера теоритически будут добавляться и удаляться количества записей и не надо будет бегать чего то пересчитывать каждый раз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 18:32:42 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Евгений Болтикпочему не прилепите Увеличение ввода-вывода - тормоза. Горячая точка - большие тормоза. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 18:38:18 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидdimitrПростого парсинга тут недостаточно, т.к. надо проверять весь граф поднятых запросов зависимостей. Да и вообще, не получается там по-другому. Ну, подняли граф зависимостей, там 10 объектов. Что мешает сначала выяснить права на них, немедленно выдавая отказ в работе при отсутствии хотя бы одного из прав, а затем вычитывать PP ?? Я так понимаю можно это сделать, но это не надо т.к. таких ситуаций 1 на миллион, а переделок куча. Обычно когда кто то ломится получить от сервера у него есть на это права. Хотя тоже согласен нафига чет делать если нет доступа. Есть единственная засада накладные расходы на дерганье по отдельности 10 объектов по сравнению с 1 дерганьем но всех данных. Я с таким сталкивался. Понимаешь когда система слабенькая и видно как тормозят отдельно идущие запросы. Связал в один пучек и обалдел просто раньше лень было писать и нужды не было. 10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый. Я прав ГУРУ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 18:46:09 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovЕвгений Болтикпочему не прилепите Увеличение ввода-вывода - тормоза. Горячая точка - большие тормоза. А вот тут поподробней с чего бы это тормоза. Пусть даже будет 65000 таблиц в базе это настолько мало по сравнению с данными. Дергаться та будут одни и те же строки. Я понимаю что мам блокировки и т.п. но это можно решить теми же способами что ты с агрегатами предлагал мне почитать. Зато оценка на порядки будет быстрей, не надо будет IO лишние делать. Или может мы друг друга не поняли ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:10:44 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Евгений Болтик10 это все равно что 10 раз препаре если я и понимаю только помноженное на дополнительные запросы со своими препаре. От суда 1 боооольшой препар, но относительно быстрый.В firebird'e затраты на prepare - ничтожные . ЗЫ. А kdv в том топике оказался прав , но я это оценил только после знакомства с миллиардершей ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:20:09 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovУвеличение ввода-вывода - тормоза. Горячая точка - большие тормоза. 2 DS : возможно, он говорит о периодически обновляемых (встроенным планировщиком ?) оценках: 1) кардинальности таблиц 2) гистограмм распределения данных. Такие обновления (например, раз в сутки ночером) не могут быть "горячей точкой". Но это в ФБ-3 если и будет, то очень нескоро, КМК. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:25:04 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоидвозможно, он говорит о периодически обновляемых (встроенным планировщиком ?) оценках Пока он не сформулирует своё предложение точно и не изложит его полными предложениями, ни ты, ни я это не узнаем. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2013, 19:30:43 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38403969&tid=1564260]: |
0ms |
get settings: |
9ms |
get forum list: |
22ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
250ms |
get topic data: |
14ms |
get forum data: |
4ms |
get page messages: |
87ms |
get tp. blocked users: |
2ms |
| others: | 231ms |
| total: | 627ms |

| 0 / 0 |
