Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблемы с памятью в PostgreSQL 7.4.1 / 15 сообщений из 15, страница 1 из 1
10.06.2004, 23:38
    #32557277
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Собственно есть две проблемы:
1. При запуске сервера PostgreSQL он отъедает большую часть оперативной памяти (всего 512Мб, а он отъедает около 400), но это можно было бы пережить, но при остановке сервера эта память не освобождается и система считает ее занятой. Соответственно если делать рестарт сервера, то после первого же рестарта начинается своппинг т.к. памяти уже не хватает.

2. В БД есть таблица в которой порядка 60 столбцов и 40 тыс. записей
при попытке выбрать даные из этой таблицы или сделать для нее Vacuum analyze выдается сообщение, что система не может выделить память объемом в 4Гб.

Что с этим делать? помогите!!
...
Рейтинг: 0 / 0
11.06.2004, 11:45
    #32557805
Sad Spirit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
1. С большим трудом верится... Система какая?
2. Судя по симптомам, таблица битая.

Вообще, настоятельно рекомендуется проверить железо, на котором всё это крутится. Обычно такие глюки на ровном месте не появляются.
...
Рейтинг: 0 / 0
11.06.2004, 11:59
    #32557836
wbear
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
вообще то уже давно вышла 7.4.2 с багфиксами
...
Рейтинг: 0 / 0
11.06.2004, 15:08
    #32558336
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Sad Spirit1. С большим трудом верится... Система какая?

Система МСВС 3.0 - это военная разработка на базе Linux Mandrake (Ядро 2.2.0).
Аппаратно - это P IV и 512Mb ОЗУ

Sad Spirit2. Судя по симптомам, таблица битая.

Как это проверить?

wbearвообще то уже давно вышла 7.4.2 с багфиксами

К сожалению это мне не поможет, т.к. базу данных я поменять не могу - она сертифицирована и внести в нее изменения - смерти подобно
...
Рейтинг: 0 / 0
11.06.2004, 17:34
    #32558727
Sad Spirit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Другими словами: непонятно какое железо, непонятно какая ОС, непонятно какие изменения внесены в код PostgreSQL (сертифицирована...). Что я могу сказать: обратитесь за технической поддержкой к поставщику. :)
...
Рейтинг: 0 / 0
11.06.2004, 18:00
    #32558771
eddie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
что в postgresql.conf написано?
в частности
shared_buffers
sort_mem
vacuum_mem
...
Рейтинг: 0 / 0
11.06.2004, 18:03
    #32558779
Shweik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Попробуй поднять этуже таблу в других условиях
(Железо скорее всего непричем,а вот МСВС
Ну сам понимаешь что тут фиг кто поможет - разве что любители Мандрейка).
8-\
Возможно но маловероятно - бажинка закралась при сборке сервера.
Если есть возможность - поставь на другой винт
скажем фрюшку 4.XX и PG 7.4.1 из сорцов -вероятность 90% что
твоя табла зальется туда из дампа и все будет путем. 8-) Если не зальется - значит битая и нужно смотреть дамп и лезть в него руками. Только я в это слабо верю. Гораздо проще представить что кто-то собирая твое ядро
по выкидывал да поурезал кое-какие опции.
Подобные проблемы с памятью знакомый любитель Дебиана решил после нескольких пересборок ядра.
Хотя создается такое ощущение что у тебя сертифицированно все что установленно. Под страхом трибунала пересобирать ничего нельзя.
8-)
...
Рейтинг: 0 / 0
11.06.2004, 22:48
    #32559065
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
to SadSpirit
Насчет сертифицировано - поставщики божатся что в версию для сертификации PostgreSQL добавили только патч, позволяющий строить деревья, а больше ничего не меняли.
После общения с ними у меня создалось впечатление, что они вообще не очень хорошо понимают как PG работает.

Проблема с памятью не то чтобы решилась, но в тоже время я локализовал ошибку - она в ОС, там очень криво написан сборщик мусора.

to Shweik
Идея с дампом была неплоха, но у меня не было дампа на текущий момент и я попытался выгрузить данные из таблицы - не получилось (возникла таже ошибка) я так понимаю при выгрузке данных выполняется тот же запрос.
Но затем я решил проблему - создав новую таблицу
create table temp as (select * from table) - что интересно при этом все записи перенеслись без потери и из новой таблицы temp данные стали выбираться корректно. А старую я удалил.
Но за идею с дампом спасибо.

У меня действительно все сертифицировано по самое не могу :), и вносить изменения невозможно. Дело даже не столько в сертификации как таковой, сколько в том, что при пересборке ядра ОС (или PG или других библиотек) мне проделать туже операцию на всех компах, где будут ставится мои приложения - а это порядка 40 объектов по всей стране :) - да и не мое это дело
...
Рейтинг: 0 / 0
12.06.2004, 10:33
    #32559190
Sad Spirit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Il'поставщики божатся что в версию для сертификации PostgreSQL добавили только патч, позволяющий строить деревья, а больше ничего не меняли.
Если это тот патч, который для CONNECT BY, то разработчики почему-то отказались включить его в сервер. Может быть они что-то знали?..
...
Рейтинг: 0 / 0
12.06.2004, 11:42
    #32559207
eddie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
не похоже?
http://archives.postgresql.org/pgsql-performance/2004-06/msg00125.php
...
Рейтинг: 0 / 0
13.06.2004, 01:08
    #32559568
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
Sad SpiritЕсли это тот патч, который для CONNECT BY, то разработчики почему-то отказались включить его в сервер. Может быть они что-то знали?..
Это именно тот патч, и он очень глючный.
Но приходится работать с тем что есть, т.к. мы переводим нашу систему с Oracle на PG и переписывать все запросы с где используется Connect by займет слишком много времени.
...
Рейтинг: 0 / 0
13.06.2004, 01:11
    #32559570
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
eddieне похоже?
http://archives.postgresql.org/pgsql-performance/2004-06/msg00125.php

Спасибо большое, за ссылку видимо это то что я хотел узнать, более точно смогу ответить во вторник, по проведению тестов
...
Рейтинг: 0 / 0
15.06.2004, 21:17
    #32562560
centur
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
для начала - Ваш "Постгрес" (ака "Л....-..") еще не сертифицирован. Все только в процессе.
Далее, какую сборку (внутреннюю и внешнюю версии пожалуйста) конкретно вы получили, еще вопрос - от кого (мне пока не удалось получить ту сборку что пошла на сертификацию, вы получали от сертификаторов лично ? )? Какая версия МСВС 3.0 (какое исправление).
какие настройки как МСВС так и постгри.
приглашаю в приват icq 864050
Кстати если в краткие сроки сможете выслать дамп базы или хотя бы таблицы (мыло по аське скажу, с мусором, а не данными) и номера версии - попробуем повторить (в четверг ухожу в отпуск т.е. крайний срок - сегодня-завтра вечером , тогда пну разработчика "Постгреса", сюда чтобы заглянул).
Далее, есть подозрение на железо, т.к. у нас вертятся таблицы и по 150 столбцов (пока правда 40к записей там нету, они для другого предназначены) и по 300000 записей, и ничего, вакуумы гоняются еженочно, дампы снимаются, на все про все отдано после тюнинга конфига около 250метров.
Конкретно ситуацию опишите. Все же есть подозрение на железо.
И еще - в МСВС вряд ли имхо писался какой-то особый сборщик мусора - текущий покорячили скорей всего. Так что они не помогут особо.
...
Рейтинг: 0 / 0
16.06.2004, 19:28
    #32564420
Il'
Il'
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
centurв приват icq 864050


Я туда стучался ответа нет :)
...
Рейтинг: 0 / 0
16.06.2004, 21:13
    #32564494
centur
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с памятью в PostgreSQL 7.4.1
я днем работаю, как и большинство народа.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблемы с памятью в PostgreSQL 7.4.1 / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]