у меня возникла идея.

Самые частый обращения к БД идут от клиентов, коих >1000 и запросов приходит несколько сотен в сек. Что если метод, который сохраняет данные в БД не будет закрывать соединение с БД.

Или 2-я идея.
Организовать вот такую конструкцию.
private Connection connectToDB ()
{
Connection cn = null;

try {
cn = DriverManager.getConnection("jdbc:mysql://localhost:3306/PaymentServer?user=root&password=123");
}
catch (Exception e) {
{
e.printStackTrace();
}
}
return cn;
}

А где-нибудь в теле метода сохранения данных от клиента сделать так
while ((cn = connectToDB()) == null)
Thread.sleep(100);
За 100 миллисекунд мы даем возможность всем потокам закрыть соединение с БД и исключения
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected establishment of connection, message from server: "Too many connections"
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
недолжно возникать.

вадяесть подозрение, что ты упираешься по быстродействию файловой системы.
если есть возможность попробуй на ssd базу разместить а лучше ssd поставить в raid

У меня база на SSD
У меня такое же соображение, что все упирается в файловую систему. Причем даже есть косвенные д-ва этому. У меня в некоторых местах было логгирование, типа создать файл номер 22345 и записать туда данные, полученные от клиента. Я так понимаю, что такого рода операции были что-то типа sleep На 5 миллисекунд и у БД было чуть больше времени, чтобы выполнить операцию и закрыть соединение. Потому как раньше поток исключений начинался после 70000 операций, а сейчас после 20000-30000.

Надо помозговать, как еще можно что-то соптимизировать. Хотя, может и нету такой возможности, все-таки я работаю за домашним компом, а не с навороченным сервером.

вадятак правильнее
for (.....)



StringBuilder updateQuery = new StringBuilder(200);

if (listsOfResponses.getResponseList().size() > 0) {
for (ResponseFromOperator responseFromOperator : listsOfResponses.getResponseList()) {
updateQuery.append("UPDATE OperationTable SET paymentresult = '");
updateQuery.append(responseFromOperator.getResponse());
updateQuery.append("' WHERE paymentid = ");
updateQuery.append(responseFromOperator.getId());
updateQuery.append(";");
st.addBatch(updateQuery.toString());
updateQuery.delete(1,200);
}
st.executeBatch();
}

Переделал по вашему подобию, спс за совет, так будет быстрее работать.

Циклов штук 70. Но я могу настраивать частоту появления запросов от клиента. Моей следующей задачей будет имитация 24-х часового периода. Чтобы были часы пик и периоды практической тишины (в это время буду очищать таблицу операций и перекидывать все в таблицу Архива)

вадя
for (.....)
{
updateQuery.append("UPDATE OperationtTable SET paymentresult = '" )
.append( responseFromOperator.getResponse() )
.append("' WHERE paymentid = " )
.append(responseFromOperator.getId())
.append(";")
st.addBatch(updateQuery>toString);
st.executeBatch();
updateQuery.delete(1,200);
}

чему равно количестчо циклов?

Ко мне тут заходил знакомый java-программист, смотрел код. Он сказал, что когда делаются куча однотипных действий, то лучше использовать Preparecall со знаками '?', а потом делать setPAram. И все это дело в цикле. Честно говоря, я не уверен в его правоте. А как вы думаете ?

Или же еще один вариант, где возможно Preparecall лучше.

E мея в секунду поступает около 300 запросов (каждый в своем потоке) от клиентов и их я помещаю в БД. Возможно вот эту запись лучше лучще сделать с помощью preparecall. Ну то что StringBuilder лучше текущего варианта, это я понимаю.

String query = "insert into TempTable (clientid, paymenttype, account, paymentvalue) values " +
"(" + payment.getClientId() + ",'" + payment.getType() + "', " + payment.getAccount() + ", " + payment.getValue() + ")";
int id = -1;
st.executeUpdate(query, Statement.RETURN_GENERATED_KEYS);

Нужна помощь. Около суток не могу понять, что происходит с Томкатом. Я навводил кучу логгирования по всему коду и вижу, что выполняется не мое приложение, а то, что было, часов 12 назад.

Далее я обнаружил ошибку в коде


В файле логов stderr Томката по этому поводу написано
java.sql.BatchUpdateException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ' UUPDATE OperationTable SET paymentresult = 'suсcess' WHERE paymentid =' at line 1
at com.mysql.jdbc.StatementImpl.executeBatch(StatementImpl.java:1196)
Тупо скопировав текст и, решив, что updateQuery.delete( 1 ,200) это правильно, т. к. мне тут так написали я допустил ошибку в ситаксисе, но исправив на updateQuery.delete( 0 ,200) у меня вылетает все та же ошибка, как в логах, так и при просмотре таблицы OperationTable (в колонке paymentresult должно стоять везде 'suсcess', а у меня только у 1-го платежа данного типа, у остальных со времен предыдущей записи стоит 'processing' ).

Более того я пошел далее.
Я решил поменять всю эту конструкцию на




Но Томкат меня почему-то не воспринимает. Я и перезапускал его и перегружал комп, а он все равно выдает ошибку в логе
java.sql.BatchUpdateException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ' UUPDATE OperationTable SET paymentresult = 'suсcess' WHERE paymentid =' at line 1
at com.mysql.jdbc.StatementImpl.executeBatch(StatementImpl.java:1196)
Что за бред. Я уже 100 раз код поменял, откуда это вылазит ?

Так, возможно нашел, откуда ноги растут, но что с этим делать все еще не понимаю. В логе Томката catalina2014-8-25
есть такое
авторINFO: validateJarFile(C:\Program Files\Apache Software Foundation\Tomcat 7.0\webapps\PaymentServer\WEB-INF\lib\ servlet-api-2.5.jar) - jar not loade d. See Servlet Spec 3.0, section 10.7.2. Offending class: javax/servlet/Servlet.class
авг 25, 2014 1:12:33 PM org.apache.catalina.deploy.WebXml setVersion
WARNING: Unknown version string [3.1]. Default version will be used .

Интересно, почему ему не нравится этот файл. Он лежит в папке lib с давних времен (скорее всего, т. к. я настройками не увлекался последнее время). И еще - что еще за Default version они тут собрались использовать.

Еще подкину инфу. Проект у меня maven и в pom.xml вот такое прописано.

<dependency>
<groupId>javax.servlet</groupId>
<artifactId>servlet-api</artifactId>
<version>2.5</version>
</dependency>

А в файле tomcat7-stderr.2014-08-25.log
все так и вываливается ошибка
авторjava.sql.BatchUpdateException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ' UUPDATE OperationTable SET paymentresult = 'sucess MTS' WHERE paymentid = ' at line 1
at com.mysql.jdbc.StatementImpl.executeBatch(StatementImpl.java:1196)
at DB.ModifyPaymentStatus(DB.java:280)
Что за бред. Этой SQL строки в моем проекте уже давно нету. Такое ощущение, что я пересобираю проект (и помещаю его в webapp ) каждый раз впустую, а Томкат все равно бкркт его версию 2-дневной давности из х. з. какого кэша.

Разобрался !!! Пришлось создавать заново maven-проект, с другим именем, но таким же содержанием.
В чем суть была, не знаю. Похоже где-то в кэше застряла версия проекта 2-хдневной давности и все время запускалась она. Хоть мне разок и удалось ее отредактировать - напихать кучу логов. Но дальше мне уже ничего не помогало.

В общем создал я таблицу Архива, запущу большое тестирование, посмотрим, как пойдет.

Решил сделать небольшой рефакторинг проекта.

1. Теперь у меня не 5 проектов, а 1, в котором есть модули типа common и не надо дублировать кучу информации.
2. Я решил сделать 2 версии клиентского приложения и 2 версии web-tier слоя серверной части (REST и SErvlets).
3. Пакет business, в котором вся логика, там несколько EJB бинов, а также....
и вот тут возникает вопрос Я бы тут хотел иметь несколько постоянно функционирующих потоков, которые раз в несколько секунд дергали эти EJB бины, чтобы те апдейтили базу.
В общем, я не знаю, как стартовать эти потоки. Должен быть какой-то Application с функцией типа main, но у меня там EJB бины. Похоже я тут немного запутался.