powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Проблемы чтения csv-файле на AS Websphere 7
8 сообщений из 8, страница 1 из 1
Проблемы чтения csv-файле на AS Websphere 7
    #38966972
andrej59
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Столкнулся с такой проблемой, при работе с AS WebSphere 7.

1. Есть приложение, которое выполняет загрузку данных из CSV-файлов. Для этого использую библиотеку super-csv.2.0.1.jar.
2. Вот так читаю заголовок из файла:

dataReader = new CsvListReader(new InputStreamReader(new FileInputStream(file), INPUT_CHARSET),
new CsvPreference.Builder('"', ';', "\r\n").build()
);

this.columns = columns;

List<String> names = dataReader.read();
3. Дальше вытягиваю данные из файла следующим способом:
values = dataReader.read();

Возникает следующая проблема, при чтении 2-й строки из файла, приложение зависает на 10 минут, я затем все данные залетают за несколько секунд. У заказчика в лог сервера пишется вот такая ошибка:

Line 5284: [21.05.15 17:02:12:880 MSD] 0000001b ThreadMonitor W WSVR0605W: Нить "WebContainer : 0" (00000014) активна в течение 632485 миллисекунд и могла зависнуть. всего нитей, которые могли зависнуть: 1.
Такая проблема проявляется только у заказчика, на нашем тестовом такая ошибка не проявляется. Кто-то сталкивался с такой проблемой. О чем говорит такая запись в логе сервера? Какие настройки сервера проверить? Может проблема в библиотеке super-csv.2.0.1.jar ?
Буду благодарен любой информации, подсказке и совету.
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38966978
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WebSphere AS обнаружил, что некая операция, выполняемая в вашем коде длиться более 10 минут, о чем честно доложил. Какую Вы видите в этом проблему?
В остальном у Вас и у заказчика csv одинаковые по объему? Сопоставимы ли сервера? Скорее всего то, что считаете "чтение 2ой строки", на самом деле чтение и парсинг всего csv файла, но лучше поковырять библиотеку.
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38966982
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38967086
andrej59
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
just_vladimir

В файле всего 1000 строк, у меня на тестовом они залетают за несколько секунд. У заказчика за 10 минут - для него это не приемлемо - в этом вся проблема.
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38967351
Фотография Dmitry.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
чтобы начать читать вторую строку, вы что-то должны были сделать с первой.
возможно проблема именно в том, что вы делаете с прочитанными строками...
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38971244
andrej59
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
При вызове метода PreparedStatement.setObject () в лог падает ошибка, если в строке соединения включен флаг TYPE=FASTLOAD. Если этого влага нет, то загрузка выполняется без ошибок:

[28.05.15 20:04:33:574 MSD] 0000002b FastImportCon I load begin setObject
[28.05.15 20:14:06:176 MSD] 00000003 ThreadMonitor W WSVR0605W: Нить "WebContainer : 7" (0000002b) активна в течение 611180 миллисекунд и могла зависнуть. Всего нитей, которые могли зависнуть: 1.
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:196)
at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF$WorkerThreadList.waitForThreads(TDNetworkIOIF.java:1015)
at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.connectToHost(TDNetworkIOIF.java:431)
at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.createSocketConnection(TDNetworkIOIF.java:130)
at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.<init>(TDNetworkIOIF.java:116)
at com.teradata.jdbc.jdbc.fastload.FastLoadConnection.getIO(FastLoadConnection.java:135)
at com.teradata.jdbc.jdbc.GenericLogonController.run(GenericLogonController.java:95)
at com.teradata.jdbc.jdbc.fastload.FastLoadConnection.<init>(FastLoadConnection.java:101)
at com.teradata.jdbc.jdbc.ConnectionFactory.createConnection(ConnectionFactory.java:134)
at com.teradata.jdbc.jdbc.ConnectionFactory.createConnection(ConnectionFactory.java:120)
at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.connectFastLoad(FastLoadManagerPreparedStatement.java:404)
at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.initializeFastLoad(FastLoadManagerPreparedStatement.java:256)
at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.setObject(FastLoadManagerPreparedStatement.java:1672)
at rdm.server.handlers.fastimport.FastImportControl.load(FastImportControl.java:1091)
at rdm.server.handlers.fastimport.FastImportControl.importData1(FastImportControl.java:966)
at rdm.server.handlers.fastimport.FastImportControl.importXref(FastImportControl.java:717)
at rdm.server.handlers.fastimport.FastImportControl.run(FastImportControl.java:597)
at rdm.server.handlers.DocImportHandler.invoke(DocImportHandler.java:174)
at biz.gelicon.server.api.TargetFieldRequestHandler.invoke(TargetFieldRequestHandler.java:80)
at biz.gelicon.server.service.HandlerManager.invoke(HandlerManager.java:134)
at biz.gelicon.server.service.ServiceImpl.invoke(ServiceImpl.java:26)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:60)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:37)
at java.lang.reflect.Method.invoke(Method.java:611)
at com.google.gwt.user.server.rpc.RPC.invokeAndEncodeResponse(RPC.java:561)
at com.google.gwt.user.server.rpc.RemoteServiceServlet.processCall(RemoteServiceServlet.java:208)
at com.google.gwt.user.server.rpc.RemoteServiceServlet.processPost(RemoteServiceServlet.java:248)
at com.google.gwt.user.server.rpc.AbstractRemoteServiceServlet.doPost(AbstractRemoteServiceServlet.java:62)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:738)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:831)
at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:263)
at com.google.inject.servlet.ServletDefinition.service(ServletDefinition.java:178)
at com.google.inject.servlet.ManagedServletPipeline.service(ManagedServletPipeline.java:91)
at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:62)
at biz.gelicon.server.service.ManagedFilter.doFilter(ManagedFilter.java:40)
at com.google.inject.servlet.FilterDefinition.doFilter(FilterDefinition.java:163)
at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:58)
at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:118)
at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:113)
at com.ibm.ws.webcontainer.filter.FilterInstanceWrapper.doFilter(FilterInstanceWrapper.java:188)
at com.ibm.ws.webcontainer.filter.WebAppFilterChain.doFilter(WebAppFilterChain.java:116)
at com.ibm.ws.webcontainer.filter.WebAppFilterChain._doFilter(WebAppFilterChain.java:77)
at com.ibm.ws.webcontainer.filter.WebAppFilterManager.doFilter(WebAppFilterManager.java:908)
at com.ibm.ws.webcontainer.filter.WebAppFilterManager.invokeFilters(WebAppFilterManager.java:997)
at com.ibm.ws.webcontainer.extension.DefaultExtensionProcessor.invokeFilters(DefaultExtensionProcessor.java:1062)
at com.ibm.ws.webcontainer.extension.DefaultExtensionProcessor.handleRequest(DefaultExtensionProcessor.java:982)
at com.ibm.ws.webcontainer.webapp.WebApp.handleRequest(WebApp.java:3935)
at com.ibm.ws.webcontainer.webapp.WebGroup.handleRequest(WebGroup.java:276)
at com.ibm.ws.webcontainer.WebContainer.handleRequest(WebContainer.java:931)
at com.ibm.ws.webcontainer.WSWebContainer.handleRequest(WSWebContainer.java:1592)
at com.ibm.ws.webcontainer.channel.WCChannelLink.ready(WCChannelLink.java:186)
at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.handleDiscrimination(HttpInboundLink.java:452)
at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.handleNewRequest(HttpInboundLink.java:511)
at com.ibm.ws.http.channel.inbound.impl.HttpInboundLink.processRequest(HttpInboundLink.java:305)
at com.ibm.ws.http.channel.inbound.impl.HttpICLReadCallback.complete(HttpICLReadCallback.java:83)
at com.ibm.ws.tcp.channel.impl.AioReadCompletionListener.futureCompleted(AioReadCompletionListener.java:165)
at com.ibm.io.async.AbstractAsyncFuture.invokeCallback(AbstractAsyncFuture.java:217)
at com.ibm.io.async.AsyncChannelFuture.fireCompletionActions(AsyncChannelFuture.java:161)
at com.ibm.io.async.AsyncFuture.completed(AsyncFuture.java:138)
at com.ibm.io.async.ResultHandler.complete(ResultHandler.java:204)
at com.ibm.io.async.ResultHandler.runEventProcessingLoop(ResultHandler.java:775)
at com.ibm.io.async.ResultHandler$2.run(ResultHandler.java:905)
at com.ibm.ws.util.ThreadPool$Worker.run(ThreadPool.java:1604)
[28.05.15 20:14:39:341 MSD] 0000002b FastImportCon I load end setObject

Подскажите, какие настройки проверить чтобы включился этот FASTLOAD
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38971488
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andrej59,
этот же самый пример работает на HotSpot? В стеке все тоже самое, ошибки нет, веб-сфера просто сообщает, что обнаружила долго выполняющийся метод, а почему он долго выполняется вопрос скорее к вашей терадате и ее драйверам.
...
Рейтинг: 0 / 0
Проблемы чтения csv-файле на AS Websphere 7
    #38971526
andrej59
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
just_vladimir,

Я понял ваш ответ, мне скорее всего необходимо завести новую тему Teradata и FASTLOAD
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Проблемы чтения csv-файле на AS Websphere 7
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]