|
|
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Yo.!hvladНЕТ. Читай выше до прояснения. И заодно расскажи - что, по твоему, есть "данные об активном статусе транзакции" ? PS Насчёт лаптя я записал... именно так. при старте данные о транзакции со статусом active прописываются в TIP именно это позволяет в случае падения сервера вычислить транзакции которые необходимо откатить. При старте тр-ции обновляется header page, но никак не TIP. Надень очки и найди слово write в приведенной цитате. Давай-ка ты не будешь учить меня где в моём доме что лежит... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2009, 00:41 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
hvlad При старте тр-ции обновляется header page, но никак не TIP. Надень очки и найди слово write в приведенной цитате. Давай-ка ты не будешь учить меня где в моём доме что лежит... придется учить, тебя собственно уж и не в первой. хорошо, пусть в цитате это header page, но повторяю, кроме модификации хеадера модифицируется TIP, где как минимум прописывается активный статус новой транзакции. именно по этой записи после краша сервера определяются активные транзакции в момент краха, которые необходимо откатить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2009, 00:51 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Yo.!hvlad При старте тр-ции обновляется header page, но никак не TIP. Надень очки и найди слово write в приведенной цитате. Давай-ка ты не будешь учить меня где в моём доме что лежит... придется учить, тебя собственно уж и не в первой. хорошо, пусть в цитате это header page, но повторяю, кроме модификации хеадера модифицируется TIP, где как минимум прописывается активный статус новой транзакции. именно по этой записи после краша сервера определяются активные транзакции в момент краха, которые необходимо откатить.Можешь повторять хоть до посинения, TIP от этого не станет обновляться при старте тр-ции. Если будешь паинькой, расскажу как на самом деле после краша сервера определяются незакоммиченные в момент сбоя тр-ции. Которые, кстати, не нужно откатывать при старте сервера, в отличие от. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2009, 00:59 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Yoмодифицируется TIP, где как минимум прописывается активный статус новой транзакции. да не модифицируется TIP, ну чего нести фигню какую-то. в TIP каждая транзакция имеет 4 состояния 0 - active. НОЛЬ. Поэтому прописывать ничего не надо. Если Next увеличился, то в искомом номере активной транзакции будет НОЛЬ. А ноль этот записывается туда целиком во всю страницу tip при ее создании. 1 - committed 2 - rolled back 3 - limbo Yoименно по этой записи после краша сервера определяются активные транзакции в момент краха именно, именно. Папа у Васи силен в математике, но не знает как интерпретировать 0? Чего надо обзательно какие-то бредовые идеи придумывать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2009, 11:18 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Вопрос по теме: подскажите UNIX open source СУБД которая умеет создавать и использовать буффер для не только для индексов но и для данных ? Чтобы в памяти сам процесс СУБД хранил этот кеш. Смысл в том, что обязательно нужно полностью отказаться от файлового системного кеша. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2009, 20:58 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiподскажите UNIX open source СУБД которая Все. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2009, 21:09 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Все. Имхо, MySQL сюда подходит лишь с натяжкой, т.к. большинство буферов у него индивидуальны для каждой сессии и имеют довольно небольшой размер по-умолчанию, и, как следствие, их эффективность невысока. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2009, 21:36 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
miksoftИмхо, MySQL сюда подходит лишь с натяжкой Натяжка, не натяжка... Раз есть хоть какой-то собственный кэш данных, значит - подходит. Аффтар же - мастер формулировок... Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2009, 22:26 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Сформулировал я чётко, видимо вы не знаете о чем речь, поэтому не понятно. mysql с MyIsam не подходит - кеширует только индексы, подходит с InnoDB, но кушает уж очень много места (это важно) Postgres не подходит, так как кешируются только индексы, для данных используется файловый кеш Про Firebird, MaxDB, Ingres нет данных ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2009, 23:09 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiPostgres не подходит, так как кешируются только индексы, для данных используется файловый кешэто Вы на глаз определили ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 03:21 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiСформулировал я чётко, видимо вы не знаете о чем речь, поэтому не понятно. mysql с MyIsam не подходит - кеширует только индексы, подходит с InnoDB, но кушает уж очень много места (это важно)Можете процитировать документацию или дать ссылку? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 08:52 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiподходит с InnoDB, но кушает уж очень много места (это важно) Используйте innodb plugin и формат Barracuda а не "антелопа". Он намного компактнее сам по себе и еще кстати и компрессию поддерживает ROW_FORMAT=COMPRESSED Вот вам дока ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 11:23 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
ЁшvazhneckiPostgres не подходит, так как кешируются только индексы, для данных используется файловый кешэто Вы на глаз определили ? :) откровенно говоря - да, так как я слабо знаком с postgres, но всё что я находил в интернете по вопросу указывало на это, если я не прав - покажите пожалуйста пальцем где почитать. miksoftvazhnecki mysql с MyIsam не подходит - кеширует только индексы, подходит с InnoDB, но кушает уж очень много места (это важно)Можете процитировать документацию или дать ссылку? Если вы про myisam, то это я знаю абсолютно точно, к сожалению не могу дать ссылку на документацию где это написано прямым текстом, но посмотрев настройки mysqld для myisam (большинство по умолчанию для него), вы не найдёте там настройки буфера для страниц данных, есть только буфер key_buffer для индексов. Вот например фраза с "http://www.mysqlperformanceblog.com/2006/06/17/using-myisam-in-production/" - "Lack of row cache. MyISAM tables only have indexes cached in key_buffer while data is cached in OS cache." Хрен - интересная информация, спасибо за неё ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 15:43 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 15:51 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhnecki wrote: > посмотрев настройки mysqld для myisam (большинство по умолчанию для > него), вы не найдёте там настройки буфера для страниц данных, есть > только буфер key_buffer для индексов. Вот например фраза с Я хочу напомнить или указать, что для InnoDB данные и индексы -- это одно и то же, так что в InnoDB в этом смысле сомневаться не нужно. Это на тот случай, если у вас сомнения ещё остались. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 17:06 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiЁшvazhneckiPostgres не подходит, так как кешируются только индексы, для данных используется файловый кешэто Вы на глаз определили ? :) откровенно говоря - да, так как я слабо знаком с postgres, но всё что я находил в интернете по вопросу указывало на это, если я не прав - покажите пожалуйста пальцем где почитать. постгрес содержит shared_buffers в разделяемой памяти, он общий для всех процессов сервера и все (ну почти) операции с файлами на диске проходят через него. и абсолютно без разницы к какому файлу обращается процесс сервера, к файлу с индексами или к файлу с данными - все запросы на чтение из файла сначала ищут нужные страницы в shared_buffers и если их там нет - то они автоматически подгружаются в shared_buffers. http://www.postgresql.org/files/documentation/books/aw_pgsql/hw_performance/node3.html http://www.westnet.com/~gsmith/content/postgresql/InsideBufferCache.pdf (pdf презентация "Inside the PostgreSQL Shared Buffer Cache" Greg Smith 89 Килобайт) вот пример вывода дополнения pg_buffercache показывающего содержимое shared buffers: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2009, 17:52 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
miksoftvazhneckiне могу дать ссылку на документациюТогда я дам: read_buffer_size read_rnd_buffer_size не сбивайте ни меня ни других с толку, эти буферы бесполезны для кеширования данных целиком, так как они не shared ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2009, 01:44 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
vazhneckiэти буферы бесполезны для кеширования данных целиком, так как они не sharedНе могу не согласиться сDimitry SibiryakovРаз есть хоть какой-то собственный кэш данных, значит - подходит. Аффтар же - мастер формулировок...Во-первых, из "не shared" не следует обязательно "бесполезны". Во-вторых, в вашей формулировке ничего про shared/не shared не было. В-третьих, вообще не факт, что вам нужно "Чтобы в памяти сам процесс СУБД хранил этот кеш". Это лишь ваше видение решения задачи, а не сама задача. Может, вам вообще in-memory database нужна (если так, то The MEMORY (HEAP) Storage Engine ). А может, вообще что-то другое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2009, 09:07 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Ёш постгрес содержит shared_buffers в разделяемой памяти, он общий для всех процессов сервера и все (ну почти) операции с файлами на диске проходят через него. из доки следует, что "операции" ограничиваются "change information on disk", т.е. чтение не положит в буфер блоки. когда я копал, так и не нашел точную формулировку, везде как-то мутно. рекомендации по размеру этого буфера тоже на водят на мысль, что он хранит только модифицированные блоки. может кто-то какой-нить ссылочкой на достоверный источник внесет ясность ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2009, 12:29 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Yo.!из доки следует, что "операции" ограничиваются "change information on disk", т.е. чтение не положит в буфер блоки.положит, для проверки - давайте после создания и заполнения таблицы перезапустим сервер и посмотрим что покажет pg_buffercache после seq scan'а: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. насчёт информации - да, Грег в своей презентации в заголовке так и пишет: • This presentation comes from research done while rewriting the background writer for PostgreSQL 8.3 • There’s very little information about PostgreSQL buffer cache internals available anywhere outside of the source code :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2009, 15:59 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
да, так убедительней. спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2009, 16:19 |
|
||
|
СУБД с поддержкой компресии данных и индексов
|
|||
|---|---|---|---|
|
#18+
Проверил работу InnoDB plugin. Откровенно говоря плохенько сжимает. Вроде бы и данные у меня однообразные, дамп select into file размером 2Gb сжимается в 6 раз до 330Mb, однако даже с такими данными размер innodb-plugin базы получается почему-то 2Gb. Размер же несжатой MyISAM 2.4Gb. В общем 400Mb таких извращений не стоят :) Попробую еще поиграться с настройками plugin'а, может получится сжать сильнее.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2009, 17:17 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=36047118&tid=1552925]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
58ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
| others: | 263ms |
| total: | 412ms |

| 0 / 0 |
