|
|
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
Добрый день! Столкнулся с такой проблемой, при работе с AS WebSphere 7. 1. Есть приложение, которое выполняет загрузку данных из CSV-файлов. Для этого использую библиотеку super-csv.2.0.1.jar. 2. Вот так читаю заголовок из файла: dataReader = new CsvListReader(new InputStreamReader(new FileInputStream(file), INPUT_CHARSET), new CsvPreference.Builder('"', ';', "\r\n").build() ); this.columns = columns; List<String> names = dataReader.read(); 3. Дальше вытягиваю данные из файла следующим способом: values = dataReader.read(); Возникает следующая проблема, при чтении 2-й строки из файла, приложение зависает на 10 минут, я затем все данные залетают за несколько секунд. У заказчика в лог сервера пишется вот такая ошибка: Line 5284: [21.05.15 17:02:12:880 MSD] 0000001b ThreadMonitor W WSVR0605W: Нить "WebContainer : 0" (00000014) активна в течение 632485 миллисекунд и могла зависнуть. всего нитей, которые могли зависнуть: 1. Такая проблема проявляется только у заказчика, на нашем тестовом такая ошибка не проявляется. Кто-то сталкивался с такой проблемой. О чем говорит такая запись в логе сервера? Какие настройки сервера проверить? Может проблема в библиотеке super-csv.2.0.1.jar ? Буду благодарен любой информации, подсказке и совету. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.05.2015, 11:01 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
WebSphere AS обнаружил, что некая операция, выполняемая в вашем коде длиться более 10 минут, о чем честно доложил. Какую Вы видите в этом проблему? В остальном у Вас и у заказчика csv одинаковые по объему? Сопоставимы ли сервера? Скорее всего то, что считаете "чтение 2ой строки", на самом деле чтение и парсинг всего csv файла, но лучше поковырять библиотеку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.05.2015, 11:23 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
А вообще, если напрягает наличие записи в логе, то можно выкрутить настройки http://www-01.ibm.com/support/knowledgecenter/SSAW57_8.5.5/com.ibm.websphere.nd.doc/ae/ctrb_hangdetection.html http://www-01.ibm.com/support/knowledgecenter/SSAW57_8.5.5/com.ibm.websphere.nd.doc/ae/ttrb_confighangdet.html?lang=ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.05.2015, 11:27 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
just_vladimir В файле всего 1000 строк, у меня на тестовом они залетают за несколько секунд. У заказчика за 10 минут - для него это не приемлемо - в этом вся проблема. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.05.2015, 19:32 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
чтобы начать читать вторую строку, вы что-то должны были сделать с первой. возможно проблема именно в том, что вы делаете с прочитанными строками... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2015, 19:48 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
При вызове метода PreparedStatement.setObject () в лог падает ошибка, если в строке соединения включен флаг TYPE=FASTLOAD. Если этого влага нет, то загрузка выполняется без ошибок: [28.05.15 20:04:33:574 MSD] 0000002b FastImportCon I load begin setObject [28.05.15 20:14:06:176 MSD] 00000003 ThreadMonitor W WSVR0605W: Нить "WebContainer : 7" (0000002b) активна в течение 611180 миллисекунд и могла зависнуть. Всего нитей, которые могли зависнуть: 1. at java.lang.Object.wait(Native Method) at java.lang.Object.wait(Object.java:196) at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF$WorkerThreadList.waitForThreads(TDNetworkIOIF.java:1015) at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.connectToHost(TDNetworkIOIF.java:431) at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.createSocketConnection(TDNetworkIOIF.java:130) at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.<init>(TDNetworkIOIF.java:116) at com.teradata.jdbc.jdbc.fastload.FastLoadConnection.getIO(FastLoadConnection.java:135) at com.teradata.jdbc.jdbc.GenericLogonController.run(GenericLogonController.java:95) at com.teradata.jdbc.jdbc.fastload.FastLoadConnection.<init>(FastLoadConnection.java:101) at com.teradata.jdbc.jdbc.ConnectionFactory.createConnection(ConnectionFactory.java:134) at com.teradata.jdbc.jdbc.ConnectionFactory.createConnection(ConnectionFactory.java:120) at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.connectFastLoad(FastLoadManagerPreparedStatement.java:404) at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.initializeFastLoad(FastLoadManagerPreparedStatement.java:256) at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.setObject(FastLoadManagerPreparedStatement.java:1672) at rdm.server.handlers.fastimport.FastImportControl.load(FastImportControl.java:1091) at rdm.server.handlers.fastimport.FastImportControl.importData1(FastImportControl.java:966) at rdm.server.handlers.fastimport.FastImportControl.importXref(FastImportControl.java:717) at rdm.server.handlers.fastimport.FastImportControl.run(FastImportControl.java:597) at rdm.server.handlers.DocImportHandler.invoke(DocImportHandler.java:174) at biz.gelicon.server.api.TargetFieldRequestHandler.invoke(TargetFieldRequestHandler.java:80) at biz.gelicon.server.service.HandlerManager.invoke(HandlerManager.java:134) at biz.gelicon.server.service.ServiceImpl.invoke(ServiceImpl.java:26) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:60) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:37) at java.lang.reflect.Method.invoke(Method.java:611) at com.google.gwt.user.server.rpc.RPC.invokeAndEncodeResponse(RPC.java:561) at com.google.gwt.user.server.rpc.RemoteServiceServlet.processCall(RemoteServiceServlet.java:208) at com.google.gwt.user.server.rpc.RemoteServiceServlet.processPost(RemoteServiceServlet.java:248) at com.google.gwt.user.server.rpc.AbstractRemoteServiceServlet.doPost(AbstractRemoteServiceServlet.java:62) at javax.servlet.http.HttpServlet.service(HttpServlet.java:738) at javax.servlet.http.HttpServlet.service(HttpServlet.java:831) at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:263) at com.google.inject.servlet.ServletDefinition.service(ServletDefinition.java:178) at com.google.inject.servlet.ManagedServletPipeline.service(ManagedServletPipeline.java:91) at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:62) at biz.gelicon.server.service.ManagedFilter.doFilter(ManagedFilter.java:40) at com.google.inject.servlet.FilterDefinition.doFilter(FilterDefinition.java:163) at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:58) at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:118) at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:113) at com.ibm.ws.webcontainer.filter.FilterInstanceWrapper.doFilter(FilterInstanceWrapper.java:188) at com.ibm.ws.webcontainer.filter.WebAppFilterChain.doFilter(WebAppFilterChain.java:116) at com.ibm.ws.webcontainer.filter.WebAppFilterChain._doFilter(WebAppFilterChain.java:77) at com.ibm.ws.webcontainer.filter.WebAppFilterManager.doFilter(WebAppFilterManager.java:908) at com.ibm.ws.webcontainer.filter.WebAppFilterManager.invokeFilters(WebAppFilterManager.java:997) at com.ibm.ws.webcontainer.extension.DefaultExtensionProcessor.invokeFilters(DefaultExtensionProcessor.java:1062) at com.ibm.ws.webcontainer.extension.DefaultExtensionProcessor.handleRequest(DefaultExtensionProcessor.java:982) at com.ibm.ws.webcontainer.webapp.WebApp.handleRequest(WebApp.java:3935) at com.ibm.ws.webcontainer.webapp.WebGroup.handleRequest(WebGroup.java:276) at com.ibm.ws.webcontainer.WebContainer.handleRequest(WebContainer.java:931) at com.ibm.ws.webcontainer.WSWebContainer.handleRequest(WSWebContainer.java:1592) at com.ibm.ws.webcontainer.channel.WCChannelLink.ready(WCChannelLink.java:186) at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.handleDiscrimination(HttpInboundLink.java:452) at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.handleNewRequest(HttpInboundLink.java:511) at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.processRequest(HttpInboundLink.java:305) at com.ibm.ws.http.channel.inbound.impl.HttpICLReadCallback.complete(HttpICLReadCallback.java:83) at com.ibm.ws.tcp.channel.impl.AioReadCompletionListener.futureCompleted(AioReadCompletionListener.java:165) at com.ibm.io.async.AbstractAsyncFuture.invokeCallback(AbstractAsyncFuture.java:217) at com.ibm.io.async.AsyncChannelFuture.fireCompletionActions(AsyncChannelFuture.java:161) at com.ibm.io.async.AsyncFuture.completed(AsyncFuture.java:138) at com.ibm.io.async.ResultHandler.complete(ResultHandler.java:204) at com.ibm.io.async.ResultHandler.runEventProcessingLoop(ResultHandler.java:775) at com.ibm.io.async.ResultHandler$2.run(ResultHandler.java:905) at com.ibm.ws.util.ThreadPool$Worker.run(ThreadPool.java:1604) [28.05.15 20:14:39:341 MSD] 0000002b FastImportCon I load end setObject Подскажите, какие настройки проверить чтобы включился этот FASTLOAD ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.05.2015, 21:22 |
|
||
|
Проблемы чтения csv-файле на AS Websphere 7
|
|||
|---|---|---|---|
|
#18+
andrej59, этот же самый пример работает на HotSpot? В стеке все тоже самое, ошибки нет, веб-сфера просто сообщает, что обнаружила долго выполняющийся метод, а почему он долго выполняется вопрос скорее к вашей терадате и ее драйверам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.05.2015, 09:56 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=38971488&tid=2125352]: |
0ms |
get settings: |
8ms |
get forum list: |
24ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
148ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 222ms |
| total: | 465ms |

| 0 / 0 |
