ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
25 сообщений из 189, страница 3 из 8
  3  все
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033641
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Маленькая ремарка, исключительно по железке.
ТаблоидНу, и ?! 30 тыс страниц, по 4 Кб каждая, читаются 201 секунду. Это как объяснить-то ?30000/200 = 150 (операций ввода-вывода с диска, то бишь в простонародье "иопсов"). 150 иоспов типичная (даже немного оптимистичная) цифирь для одиночного САТА диска. Лично я не вижу ровно никакого противоречия, если база не "разогрета".

ТаблоидЗЫ. А встроенная мерялка скорости чтения с диска показывает какую-то очень уж оптимистичную картину:
Код: plaintext
1.
2.
3.
[root@reservdb tmp]# hdparm -t /dev/sda5

/dev/sda5:
 Timing buffered disk reads:  514 MB in  3.11 seconds = 165.02 MB/sec
Не меряй потоковое чтение, оно тебе интересно мало, меряй иопсы, можно иометером.

Таблоидlshw показывает, что у нас в этом серваке установлен IBM ServeRAID M5015. Кто-нить в курсе, какие у него ТТХ ?Судя по редбуку ТТХ не самые тухлые, но больше сказать не могу, в руках не держал. Диски какие и сколько? Батарейка е? тип массива?

Примени иометер, чтоб оценить что можно от железки ждать. размер задаешь примерно по размеру базы, кол-во воркеров по кол-ву коннектов к базе, размер блока по размеру странички БД и смотришь полученные чиселки.
...
Рейтинг: 0 / 0
11.11.2012, 16:06:08
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033644
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Таблоид
Код: plaintext
Timing buffered disk reads:  514 MB in  3.11 seconds = 165.02 MB/sec
Да, кстати, 100 мегабайт в секунду я буквально несколько дней назад заливал себе тестовую базу+ образ виртуалки где-то 25+25 гиг на УСБ3 диск с обычного САТА. Это просто мой рабочий десктоп, и нет там никаких рэйдов.

В общем терзают меня смутные сумненья на предмет крутости дисковой ПС твоего сервера.
...
Рейтинг: 0 / 0
11.11.2012, 16:09:43
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033646
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Ivan_PisarevskyДиски какие и сколько? Батарейка е? тип массива?lshw в аттаче
...
Рейтинг: 0 / 0
11.11.2012, 16:10:34
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033652
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Таблоидlshw в аттаче Маниак, блин. Нет там инфы о дисках. это надо смотреть в утиле управления контроллером, ОСь в принципе не знает о кол-ве дисков за аппартным контроллером рэйд.

Судя по наличии файберного хба есть намек на то, что дисков всего пара, чтоб бутить сервер, а остальное должно браться с файберного сундука с дисками.
...
Рейтинг: 0 / 0
11.11.2012, 16:23:50
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033688
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Ivan_Pisarevskyэто надо смотреть в утиле управления контроллером, ОСь в принципе не знает о кол-ве дисков за аппартным контроллером рэйд.ладно, завтра спрошу у наших железячников (хотя с ними всегда трудно вести диалог, ибо невменяемые они у нас).
...
Рейтинг: 0 / 0
11.11.2012, 17:04:35
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033693
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Таблоидв этом серваке установлен IBM ServeRAID M5015. Кто-нить в курсе, какие у него ТТХ ? Красные книжки .
...
Рейтинг: 0 / 0
11.11.2012, 17:20:09
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033695
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Таблоид,

По первый эксперимент: одна запись по ключу должна подписаться мигом.
Может тормозит оптимизатор?
Не пробовал форсануть этот один нещастный индекс?
...
Рейтинг: 0 / 0
11.11.2012, 17:20:40
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033700
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
MasterZivПо первый эксперимент: одна запись по ключу должна подписаться мигом.
Может тормозит оптимизатор?
что значит "подписаться"? ты читал первый же ответ 13451906 ?
...
Рейтинг: 0 / 0
11.11.2012, 17:36:55
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38033733
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
MasterZivодна запись по ключу должна подписаться мигом.Она и так мигом выхватывается, на собственно поиск в индексе уходит 6 фетчей. Выше уже выяснилось, что все беды от того, что при КАЖДОМ запросе, в котором упоминается большая таблица, ФБ будет искать ВСЕ её PP, коих в данном случае набралось почти 30 тыс и они, к тому же, размазаны по файлу, т.е. последовательной вычиткой тут не получится.
MasterZivНе пробовал форсануть этот один нещастный индекс?Что значит "форсануть" ?
...
Рейтинг: 0 / 0
11.11.2012, 18:35:08
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38038988
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Продолжу стартовый пост.

ЭКСПЕРИМЕНТ 4.

Дано:
1) локальная машина, время которой отстаёт от серверного на 0.343 сек
2) запущенный трейс, отслеживающий активность на этой базе.
3) база не "разогрета", т.е. её "фрагменты" в кеше операционки отсутствуют.

Запускаю на локальной машине батник:
Код: plaintext
1.
2.
echo %time%
isql 192.168.0.59:t1 -i 1.sql
где содержимое скрипта `1.sql` есть:
Код: plaintext
select current_timestamp from rdb$database; commit;

Получаю при первом запуске этого скрипта:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
C:\MIX\firebird\fb25>echo 23:39:03,39
 23:39:03,39  -- время на рабочей станции

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

        CURRENT_TIMESTAMP
=========================
2012-11-14 23:39:07.3000
Трейс при первом запуске:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
Trace session ID 1 started
2012-11-14T 23:39:07.2600  (3769:0x2aaaab258af8) TRACE_INIT
        SESSION_1


2012-11-14T23:39:07.2600 (3769:0x2aaaab258af8) ATTACH_DATABASE
        t1 (ATT_80, SYSDBA:NONE, NONE, TCPv4:192.168.43.96)
        C:\MIX\firebird\fb25\bin\isql.exe:312

Получаю при втором (вспомогательном) запуске этого скрипта:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo 23:39:52,72
23:39:52,72

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

        CURRENT_TIMESTAMP
=========================
2012-11-14 23:39:53.0630

Второй (вспомогательный) запуск - только для определения разности показаний часов раб. станции и сервера. Вывод времени сервера в isql в этом запуске был практически мгновенным. Это значит, что время установки коннекта было почти 0 и для определения разности показаний часов можно просто сравнить два значения: 23:39:52.72 и 23:39:53.06.
Отставание часов рабочей станции получается примерно 0.34 сек.

Теперь смотрим на время, которое было на рабочей станции при входе в батник в первом запуске: 23:39:03,39 - и на время, которое показал трейс в момент установки коннекта: 23:39:07.26
Если прибавить к 23:39:03,39 дельту 0.34", получим 23:39:03.73 - это время по часам сервера, которое было в момент первого запуска батника.
Тогда время установки коннекта к этой базе составило:
Код: plaintext
datediff(millisecond from  23:39:03.73  to  23:39:07.2600 ) = ~3500 мс

Я не очень понимаю, что может делать ФБ в течение 3.5 сек при попытке установить коннект.
Проверка пароля делается с использованием security2.fdb - это всё очень быстро, да и sec2.fdb на этом серваке всё время закеширована, там тесты идут.
Даже если база `t1` не была в кеше, открытие файла на бездействующем серваке - операция также мгновенная. Метаданные при коннекте от isql вроде бы НЕ вычитываются.

Что тогда занимает время ?

PS. Вижу этот эффект регулярно - каждый раз после того, как память основательно будет "потрясена" другими тестами и от базы `t1` в кеше ничего не останется.
...
Рейтинг: 0 / 0
15.11.2012, 00:11:39
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039007
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Таблоидкаждый раз после того, как память основательно будет "потрясена" другими
тестами и от базы `t1` в кеше ничего не останется.
Зато в нём куча прочего дерьма, которое надо куда-то сбросить, прежде чем туда сможет
влезть хоть что-то от этой твоей базы.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.11.2012, 00:43:19
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039128
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
arni
Участник
Таблоид,

хотя тут не нужно вычитывать огромный объем PP на prepare, но всё же, что если сделать доп.пример и вовсе исключить обращение к таблицам в запросе времени. Например вместо
Код: sql
1.
select current_timestamp from rdb$database

примерно так дернуть
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
execute block
returns(
TS timestamp)
as
begin
  TS = current_timestamp;
  suspend;
end

?
...
Рейтинг: 0 / 0
15.11.2012, 08:19:33
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039164
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
ТаблоидЯ не очень понимаю, что может делать ФБ в течение 3.5 сек при попытке установить коннект.
Проверка пароля делается с использованием security2.fdb - это всё очень быстро, да и sec2.fdb на этом серваке всё время закеширована, там тесты идут .
Даже если база `t1` не была в кеше, открытие файла на бездействующем серваке - операция также мгновенная. Метаданные при коннекте от isql вроде бы НЕ вычитываются.
ты бы определился, что-ли
...
Рейтинг: 0 / 0
15.11.2012, 09:12:13
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039196
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
arniпримерно так дернутья попробовал это, только предварительно вырубил использование кеша FS: поставил FileSystemCacheThreshold = 0 и рестартовал ФБ.
Результат 10 запусков:
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
C:\MIX\firebird\fb25>type i.sql
set term ^;
execute block returns(TS timestamp) as
begin
  TS = current_timestamp;
  suspend;
end
^set term ;^

C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:08:55,32
 9:08:55,32

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:08:59.0830


C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:14:24,07
 9:14:24,07

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:14:26.2050

C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:15:15,78
 9:15:15,78

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:15:17.8790


C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:15:29,16
 9:15:29,16

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:15:30.7290


C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:19:36,61
 9:19:36,61

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:19:38.7290


C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:19:41,47
 9:19:41,47

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:19:43.0440


C:\MIX\firebird\fb25>i.bat

C:\MIX\firebird\fb25>echo  9:19:46,24
 9:19:46,24

C:\MIX\firebird\fb25>isql 192.168.0.59:t1 -n -i i.sql

                       TS
=========================
2012-11-15 09:19:47.8140
Те же результаты, но в виде таблицы:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
                       T1                        T2              DATEDIFF
========================= ========================= =====================
2012-11-15 09:08:55.3200  2012-11-15 09:08:59.0830                    3763
 2012-11-15 09:14:24.0700  2012-11-15 09:14:26.2050                   2135
2012-11-15 09:15:15.7800  2012-11-15 09:15:17.8790                   2099
2012-11-15 09:15:29.1600  2012-11-15 09:15:30.7290                   1569
2012-11-15 09:19:36.6100  2012-11-15 09:19:38.7290                   2119
2012-11-15 09:19:41.4700  2012-11-15 09:19:43.0440                   1574
2012-11-15 09:19:46.2400  2012-11-15 09:19:47.8140                   1574
2012-11-15 09:22:44.8300  2012-11-15 09:22:47.0050                   2175
2012-11-15 09:22:49.8200  2012-11-15 09:22:51.4100                   1590
2012-11-15 09:22:59.0000  2012-11-15 09:23:00.6020                   1602

PS. я затем еще раз перегрузил ФБ и заметил: первый с момента рестарта коннект идёт дольше остальных (примерно на 1-2 секунды). Чем это объяснить при FileSystemCacheThreshold = 0 - не знаю.
...
Рейтинг: 0 / 0
15.11.2012, 09:40:48
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039200
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
dimitrты бы определился, что-ли"там тесты идут" - это значит, что ИМЕЮТ ОБЫКНОВЕНИЕ быть запущенными
То есть, я стартовал там утром / днём известный тебе idx_under_load_test, по нескольку раз, а затем остановил.
...
Рейтинг: 0 / 0
15.11.2012, 09:42:58
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38039955
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
dimitrТаблоидЯ так понимаю, пока ФБ делает откаты изменений, произведённых этими окнами, "светлые образы" их коннектов всё равно торчат в mon$ attachments .
естественно. Во-первых, о ткат изменений прерывать не всегда можно , это чреватоЧто-то сильно затормозил я тогда с встречным вопросом.
Если откат изменений иногда "чреват", то как же тогда быть с gfix -shut full -force 0 ? Ведь этой команде чихать на откаты изменений, она просто останавливает базу, не дожидаясь завершения откатов.
Да, я знаю, что валидация затем покажет тучу нестрашных orphan pages, а для индексов - такую же тучу нестрашных "Index N is corrupt on page X level Y at offset Z...., validation.cpp, line: 2050 или 2060" (насчет нестрашности последних - см тут ).
По такой логике, после каждого шатдауна базы на работавших коннектах требуется b/r делать (ввиду "чреватости" незавершенных откатов) ?
...
Рейтинг: 0 / 0
15.11.2012, 15:38:55
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040255
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Таблоид Ведь этой команде чихать на откаты изменений, она просто останавливает базу, не дожидаясь завершения откатов.
Да, я знаю, что валидация затем покажет тучу нестрашных orphan pages,
шо-шо??? shut force отрубает коннекты, и им делается rollback. никаких orphan pages при этом быть не может. orphan pages образуются тольки при срубании коннекта, который пилил базу.
...
Рейтинг: 0 / 0
15.11.2012, 18:00:15
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040290
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоид,

при шатдауне все откаты штатные и полноценные, не надо наводить панику на пустом месте
...
Рейтинг: 0 / 0
15.11.2012, 18:13:56
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040502
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
kdvпри срубании коннекта, который пилил базу.
мнэ, при срубании сервака (или процесса классика).
...
Рейтинг: 0 / 0
15.11.2012, 21:09:12
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040894
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
dimitrпри шатдауне все откаты штатные и полноценные, не надо наводить панику на пустом местеПри gfix -shut full -force 0 -- да, отрубает ОК и делает откаты (вижу в трейсе).
А теперь попробуем останавливать базу и службу ФБ (у мну её имя = "fb25_3050") вот так:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
@rem file = "shut_all.bat"
@echo off
gfix -shut full -force  5  t1.fdb
ping 127.0.0.1 > nul
gstat -h t1.fdb > tmp_gstat.tmp

find /i /c "full shutdown" tmp_gstat.tmp > nul
if %errorlevel% GTR 0 (
  echo database is NOT in shutdown mode!
  exit
) 
gstat -h t1.fdb|findstr /i /c:"attributes"
net stop "Firebird Server - fb25_3050"
del tmp_gstat.tmp
pause

Тест:
окно #1
// Запускаем трейс

окно #2
// в нём будет введён батник, показанный выше

окно #3
// создаём новую базу, делаем к ней коннект via TCP и напихиваем 2 млн строк:
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
C:\1INSTALL\FIREBIRD\Data>isql
Use CONNECT or CREATE DATABASE to specify a database
SQL> create database 't1.fdb'; commit;
SQL> quit;

C:\1INSTALL\FIREBIRD\Data>isql localhost/3050:C:\1INSTALL\FIREBIRD\Data\t1.fdb -n
Database:  localhost/3050:C:\1INSTALL\FIREBIRD\Data\t1.fdb
set term ^;
execute block as
begin
execute statement 'drop sequence g;'; when any do begin end
end^
set term ;^
commit;

create sequence g;
recreate table t(id int, s varchar(36));
commit;

set stat on;
set term ^;
execute block as 
declare n int = 2000000;
begin
  while (n>0) do insert into t(id,s) values( gen_id(g,1), uuid_to_char(gen_uuid()) ) returning :n-1 into n;
end
^set term ;^
commit;


окно #2
Код: plaintext
1.
2.
3.
4.
5.
6.
C:\1INSTALL\FIREBIRD\Data>shut_all.bat -- ждём 5 секунд
connection lost to database -- это сам gfix вякнул, при детаче от базы
        Attributes              force write, full shutdown -- это мы проверили наличие ключевых слов `full shutdown`
Служба "Firebird Server - fb25_3050" останавливается.... -- в этот момент завершился трейс
Не удалось остановить службу "Firebird Server - fb25_3050". -- обычное сообщение, когда ФБ делает массовые откаты

Для продолжения нажмите любую клавишу . . .

окно #1
Трейс в "хвосте" своего лога будет иметь текст без каких-либо упоминаний о ROLLBACK'e:
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
2012-11-16T08:43:17.9680 (1416:0233DEB0) EXECUTE_STATEMENT_START

	C:\1INSTALL\FIREBIRD\DATA\T1.FDB (ATT_2, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FIREBIRD\FB25HEAD\bin\isql.exe:848

		(TRA_6, CONCURRENCY | WAIT | READ_WRITE)


Statement 89:

-------------------------------------------------------------------------------

execute block as 
declare n int = 2000000;
begin
  while (n>0) do insert into t(id,s) values( gen_id(g,1), uuid_to_char(gen_uuid()) ) returning :n-1 into n;
end


2012-11-16T08:43:37.0620 (1416:0233C928) TRACE_INIT

	SESSION_1  



2012-11-16T08:43:37.0620 (1416:0233C928) FAILED ATTACH_DATABASE

	t1.fdb (ATT_0, SYSDBA, NONE, XNET:BALAHA)

	C:\1INSTALL\FIREBIRD\FB25HEAD\bin\gfix.exe:1052


2012-11-16T08:43:37.0620 (1416:0233C928) ERROR AT jrd8_attach_database

	t1.fdb (ATT_0, SYSDBA, NONE, XNET:BALAHA)

	C:\1INSTALL\FIREBIRD\FB25HEAD\bin\gfix.exe:1052

335544528 : database t1.fdb shutdown


2012-11-16T08:43:37.0620 (1416:0233C928) TRACE_FINI

	SESSION_1


окно #3
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
Statement failed, SQLSTATE = HY008
operation was cancelled
After line 14 in file filtab
Current memory = 0
Delta memory = -4920748
Max memory = 0
Elapsed time= 32.63 sec
Buffers = 0
-- (забавные цифирки, ну да ладно, сейчас не о них)
Reads = -111
Writes -33
Fetches = -1587
Statement failed, SQLSTATE = 08003
connection shutdown
After line 20 in file filtab

окно #1
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
C:\1INSTALL\FIREBIRD\Data>gfix -online t1.fdb

C:\1INSTALL\FIREBIRD\Data>gfix -v -full T1.FDB
Summary of validation errors
        Number of database page errors  : 9657

C:\1INSTALL\FIREBIRD\FB25HEAD>find /i /c "an orphan" firebird.log -- подсчитаем число строк в логе, содержащих "an orphan"

---------- FIREBIRD.LOG:  9657

В аттаче - firebird.log после проведения валидации.
...
Рейтинг: 0 / 0
16.11.2012, 09:05:41
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040898
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
PS. И это еще не всё. Оказывается, если ФБ-службу не останавливать, а всего лишь зашатдаунить базу:
Код: plaintext
gfix -shut full -force N t1.fdb
где N>0 , то:
1) база получит атрибут `full shutdown` (gstat -h выведет его);
2) коннект, который в это время что-то там писал в эту базу, ... будет спокойно продолжать туда дописывать! И более того, если он не выполнит детач, то и дальше сможет трудиться "на благо родины": делать commit'ы, запускать новые DML / DDL...
...
Рейтинг: 0 / 0
16.11.2012, 09:10:40
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040907
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоид,

а мужики-то и не знали...
...
Рейтинг: 0 / 0
16.11.2012, 09:20:25
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040942
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
dimitr а мужики-то и не знали... я видел этот тикет, однако ночером уже не было сил его искать :/
ну, а что про orphan'ы, когда служба ФБ останавливается после лже-шатдауна, недовыполнив откаты, - это бага или нет ?
...
Рейтинг: 0 / 0
16.11.2012, 09:49:22
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38040965
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоид,

когда останавливается служба, ядру дается 10 сек на "чистый" откат. Если он не успел, то селяви - тогда будут орфаны.
...
Рейтинг: 0 / 0
16.11.2012, 10:08:25
| Ответить | Цитировать | Написать  
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
    #38042850
cwev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cwev
Гость
авторМожет быть натурал и не заложен, но порядок соединения и используемые индексы однозначно оценивает через умножение кардинальности на селективность.

Ага, надо только правильно запрос, то бишь... как его... вопрос, во, вопрос сформулировать, что бы при оценке оптимизатора кардинально поменялся индекс were-предиктора, иначе заточка будет другая и лаги только возрастут. При этом на селективность можно не обращать внимания, она всегда нулевая. Ок, да?
...
Рейтинг: 0 / 0
17.11.2012, 23:20:40
| Ответить | Цитировать | Написать  
25 сообщений из 189, страница 3 из 8
  3  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=38033693&tid=1564260]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 211ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 70ms
get tp. blocked users:
 1ms
others: 210ms
total:  533ms
созд. / загр.: 533ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]