ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Не получается сделать более 3700 инсертов подряд
15 сообщений из 15, страница 1 из 1
Не получается сделать более 3700 инсертов подряд
    #35152904
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
Здрассти... наверняка нарушаю какойто базовый концепт... но в FAQ все тихо по этому поводу )

С разными серверами, на разных платформах, в разных программах при попытке сделать мнооожество инсертов подряд получаю ERROR [08001] Could not connect to the server;
Could not connect to remote socket. после всего навсего 3700-4000 инсерта. Сервер не падает... просто надо еще раз стартовать программу.

postgre юзаю недавно... яву тоже ) Потому, изначально получив ошибку в связке едваустановленныйпостгре + ява ... я не удивился - решил что чтото не настроил в постгре либо неправильно конекшны разруливаю в яве. Пробовал экспериментировать с задержками - в какихто случаях помогало...

В итоге попробовал савсем другой софт на вполне знакомом дотнете и наполнял савсем другую базу и получил тоже самое... остался только вариант "не настроил сервер"... т.к. в дотнете открываю и закрываю коннект вроде при каждом запросе. Вроде что я могу еще сделать... но всерно 3700-4000 инсертов.

НО вот когдаа я это все попробовал на дотнет хостинге и получил ТЕЖЕ САМЫЕ 3700-4000 инсертов подряд и дулю... я уже савсем потерялся )

чего я не так делать то могу?) какую инфу можт еще предоставить для уточнения ?
...
Рейтинг: 0 / 0
25.02.2008, 00:48
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35152923
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Привет.

Странно все это))) Я буквально на днях написал программу по генерации данных в БД.
У меня идет постоянно по 1000 инсертов в один коммит. И всего ~ 1М инсертов (точнее 1 000 000 + 1000 + 10)

Влезает в лет. Что в PG, что в MySQL.

Давай с начала: версия PosgtreSQL, версия JDK, версия JDBC, и пример того, как в программе работаешь с сессией и транзакциями.

PS сам имел много любви с криво написанными транзакциями. Выпрямил руки - все заработало )))
PPS савсем пишется по русски " совсем ", или па падонкаффски " сафсем ". Пишите правильно ))))
...
Рейтинг: 0 / 0
25.02.2008, 01:46
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35152924
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
попробовал для чистоты эксперимента паузы поюзать... всерно мистика какаято.

Задержки даже огромные взял...

Если приостанавливаться после 500 инсертов на 30 секунд... 10000 инсертов проходят.

Но если приостанавливаться после 3000 инсертов на 30 секунд ... всерно вылетаю на 3940 инсерте ))

Причем постгре начинает курить бамбук мгновенно после того, как начинается задержка... т.е. нагрузка пропадает и вроде ждет новых команд сразу.

Конекшн тоже один используется, потом грохается... не плодятся... вижу в админке...
...
Рейтинг: 0 / 0
25.02.2008, 01:51
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35152933
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
VoDA

постгре 8.2 работает на убунту. настройки фактически стоковые - не баловался - не было на то необходимости.

по поводу JDK и JDBC наверно и не актуально... все последние тесты на дотнете. и локально и на хостинге. Но для порядку уж: драйвер postgresql-8.2-507.jdbc4.jar, JRE 1.6.0_03

в дотнете работаю вроде просто ) на каждый инсерт такая схема:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
try
{
connectionODBC.Open();
...
commandODBC.ExecuteNonQuery();
}
finally
{
connectionODBC.Close();
}

З.Ы. относительно ачипяток извиняюсь, но привычка... сознательная ) тема это отдельная )) на этом форуме это конечно никчему - стараюсь поминимуму ))
...
Рейтинг: 0 / 0
25.02.2008, 02:08
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35153096
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
Не могу проверить эти версии, сам на Java 5 сижу.

Посмотри, что пришет PG в свои логи, может станет понятнее )))
...
Рейтинг: 0 / 0
25.02.2008, 10:57
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35153525
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
это какие именно логи? нашел в его папке файл log... там вроде ничего особенного.

развечто при каждой операции происходит:
2008-02-25 01:47:09 MSK ERROR: неверное значение для параметра "client_encoding": ""
2008-02-25 01:47:09 MSK КОМАНДА: SET client_encoding to ''

но ничего особенного в момент когда запросы обрабатываться перестают - не вижу. просто перестают поступать вышеуказанные ошибки
...
Рейтинг: 0 / 0
25.02.2008, 15:57
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35153920
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
жува4каэто какие именно логи? нашел в его папке файл log... там вроде ничего особенного.

развечто при каждой операции происходит:
2008-02-25 01:47:09 MSK ERROR: неверное значение для параметра "client_encoding": ""
2008-02-25 01:47:09 MSK КОМАНДА: SET client_encoding to ''

но ничего особенного в момент когда запросы обрабатываться перестают - не вижу. просто перестают поступать вышеуказанные ошибкиПопробуй тогда другую версию СУБД например 8.1
А также проставь encoding если ему так это не нравится.
...
Рейтинг: 0 / 0
25.02.2008, 19:34
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35153952
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
На компе сколько ОЗУ, какой размер swap? Да и операционка какая, надеюсь не винды?
...
Рейтинг: 0 / 0
25.02.2008, 19:50
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35154064
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
landyНа компе сколько ОЗУ, какой размер swap? Да и операционка какая, надеюсь не винды?

гиг оперы. по поводу ОС уже писал - УБУНТУ последняя, апдейтам неделя. какой swap интересует? ОС? раздел swap пара гигов.
Если постгре - незнаю точно, тамж много всяких буферов - дефолтные значения все.

К слову об использовании свопа... во время процесса наблюдается 50% нагрузка на проц, 80% нагрузка на сеть... но использование памяти вообще не колышится... так, 100кб сожрет и отпустит... сожрет и отпустит... вопщим не утекает память.

VoDAПопробуй тогда другую версию СУБД например 8.1
вот этого бы не хотелось... всеже прикол то еще в том, что и на хостинге вроде вполне себе пиндусячем - теже грабли.
...
Рейтинг: 0 / 0
25.02.2008, 21:57
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35154092
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
выставил энкодинг - в лог щас вообще ничего не пишется )
кроме того еще выставил CONNECT_TIMEOUT=30

ничего не изменилось )
...
Рейтинг: 0 / 0
25.02.2008, 22:32
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35154096
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
стоп!

а не на сетевом ли уровне все падает?)))

щас попробовал пулять 5 инсертов один запросом ... 10000 инсертов отработали за 5 секунд. Нагрузка на сеть заметно ниже. тест на 100к инсертов отвалился уже лишь на 40к-записи...

Все предыдущие тесты работали минуты две до момента обвала на 4000 записи. + сеть по полной работала...
...
Рейтинг: 0 / 0
25.02.2008, 22:44
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35157289
Hordi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hordi
Участник
А мож в твоей программе проблема?
...
Рейтинг: 0 / 0
27.02.2008, 11:03
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35161110
зануд
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
зануд
Участник
VoDAВлезает в лет . Что в PG, что в MySQL. VoDAПишите правильно ))))
...
Рейтинг: 0 / 0
28.02.2008, 16:21
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35161883
жува4ка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
жува4ка
Гость
HordiА мож в твоей программе проблема?
да нет же.. софт разный да на разных платформах ))

всеже проблема в том, что некто "свыше" БД отказывает в соединении... стоит мне делать относительно большие пачки запросов, т.е. естесственным путем организовывать небольшие паузы между запросами... и все... влет инсертятся хоть сотни тысяч.
...
Рейтинг: 0 / 0
28.02.2008, 22:29
| Ответить | Цитировать | Написать  
Не получается сделать более 3700 инсертов подряд
    #35161917
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
жува4када нет же.. софт разный да на разных платформах ))

всеже проблема в том, что некто "свыше" БД отказывает в соединении... стоит мне делать относительно большие пачки запросов, т.е. естесственным путем организовывать небольшие паузы между запросами... и все... влет инсертятся хоть сотни тысяч.Может это противо DOS защита срабатывает на большое количество пакетов...

Нужно копать ;)
...
Рейтинг: 0 / 0
28.02.2008, 23:00
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Не получается сделать более 3700 инсертов подряд
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]