ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Как лучше прочитать большой файл
14 сообщений из 14, страница 1 из 1
Как лучше прочитать большой файл
    #34371516
Кореец
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кореец
Участник
Привет.
Требуется вернуть(показать не экране, либо передать как выходной параметр) содержимое текстового файла. Предположительно файл будет на уровне 2-5 Мб.
Посоветуйте плз, как лучше это сделать.
Такой вариант кода неплохо работает с небольшимим по величине файлами 5Кб
try {
String s,res=null;
BufferedReader out = new BufferedReader(new FileReader(path) );
int i=0;
while( (s=out.readLine())!=null) {
res+=s+'\n';
}

out.close();
}catch (Exception e){
System.out.println(e);
}
но с 5Мб...Res приходится ждать до жути долго..
..после того как прочитаны первые 8000 строк на каждые следующие 1000 строк тратится около 20 секунд...
PS/ я новичок. если вопрос банальный просьба на х.. не слать.
...
Рейтинг: 0 / 0
05.03.2007, 14:36:04
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371560
Зашедший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зашедший
Участник
Никогда, никогда, НИКОГДА не используйте для конкатенции строк в цикле шаблон типо
Код: plaintext
1.
2.
3.
4.
5.
String s = "";
 for  (...) {
    s += bla-bla-bla;
}
 return  s;
Это очень сильно тормозит работу. Для конкатенции есть StringBuffer.
Код: plaintext
1.
2.
3.
4.
5.
StringBuffer sb =  new  StringBuffer();
 for  (...) {
    sb.append(bla-bla-bla);
}
 return  sb.toString();
...
Рейтинг: 0 / 0
05.03.2007, 14:48:07
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371578
Зашедший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зашедший
Участник
Советую почитать небольшую статью с http://skipy.dev.juga.ru/technics/strings.html про работу со строками (к сожалению, сейчас не работает, но можно зайти в гуглевский буфер .
...
Рейтинг: 0 / 0
05.03.2007, 14:52:40
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371595
Кореец
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кореец
Участник
Спасибо большое. ща попробуем)))
...
Рейтинг: 0 / 0
05.03.2007, 14:56:58
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371627
Зашедший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зашедший
Участник
КореецСпасибо большое. ща попробуем)))
Попробуйте. И напишите, на сколько порядков ускорилась работа софтины. Я так думаю, раз в 1000 как минимум...
...
Рейтинг: 0 / 0
05.03.2007, 15:04:49
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371704
Фотография Timm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Timm
Участник
Кореец
..после того как прочитаны первые 8000 строк на каждые следующие 1000 строк тратится около 20 секунд...
PS/ я новичок. если вопрос банальный просьба на х.. не слать.
А ты посмотри во что твой код транслируеца (javap -c class).
В 1.4. на каждый + в цикле создается новый StringBuffer, у которого затем вызывается append() и toString().
Вместо StringBuffer'a в 1.5 есть StringBuilder - то же самое, только методы не синхронизированы. Работает быстрее.
...
Рейтинг: 0 / 0
05.03.2007, 15:25:28
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371766
Кореец
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кореец
Участник
StringBuffer увеличил в несколько тысяч раз производительность операции. Если раньше только на 1000 строк уходило 20 сек, то сейчас ВЕСЬ файл читается за доли секунды.
Со StrinBuilder аналогично.
Мда...и правда, знать джава - означает знать их библиотеки.
...
Рейтинг: 0 / 0
05.03.2007, 15:41:52
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34371817
Зашедший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зашедший
Участник
КореецМда...и правда, знать джава - означает знать их библиотеки.
+1
"Выучить синтаксис" - только самое начало :) И это справедливо далеко не только для явы.
...
Рейтинг: 0 / 0
05.03.2007, 15:59:58
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34376041
лучше не читать файлы
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
лучше не читать файлы
Гость
http://javagu.ru/portal/dt?ArticleId=GURU_ARTICLE_64519

Прибить в FAQ

PS Эта ошибка от жабы не зависит, а показывает лишь квалификацию "писателя", я сам когда был зеленый и невежественный, тоже формировал текстовый файл, суммирую строки.
...
Рейтинг: 0 / 0
06.03.2007, 23:14:12
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34376330
^ozzy^
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
^ozzy^
Участник
Ходили слухи (сам не проверял, по байткоду не смотрел), что компилятор при оптимизации сам переводит конкатенацию в чистом виде в конструкцию со StringBuffer (я так полагаю, конструкции должны быть простыми). Правда про версии ничего не помню...
Хотя у самого так и не получилось получить такой оптимизации (по бенчмаркам).
...
Рейтинг: 0 / 0
07.03.2007, 08:26:43
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34376354
GKS_Samara
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GKS_Samara
Участник
^ozzy^ пишет:

> Ходили слухи (сам не проверял, по байткоду не смотрел), что компилятор
> при оптимизации сам переводит конкатенацию в чистом виде в конструкцию
> со StringBuffer

Да, я отладчиком в этом убедился (JRE5 и 6). Только он это кривовато
делает. Например:

s = s1 + s2 + s3;

выполнится примерно так:

s = new StringBuffer( new StringBuffer( s1 )
.append( s2 ).toString()).append( s3 ).toString();

Что не есть гуд...

--
Алексей
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.03.2007, 08:36:52
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34376368
^ozzy^
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
^ozzy^
Участник
Ну да, кривовато.
А интересно, ведь не зря разработчики сделали именно так. Чем-то ведь они руководствовались...
...
Рейтинг: 0 / 0
07.03.2007, 08:43:56
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34378709
лучше не читать файлы а читать к
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
лучше не читать файлы а читать к
Гость
^ozzy^Ходили слухи (сам не проверял, по байткоду не смотрел), что компилятор при оптимизации сам переводит конкатенацию в чистом виде в конструкцию со StringBuffer (я так полагаю, конструкции должны быть простыми). Правда про версии ничего не помню...
Хотя у самого так и не получилось получить такой оптимизации (по бенчмаркам). Статью читаем ?
...
Рейтинг: 0 / 0
08.03.2007, 00:03:18
| Ответить | Цитировать | Написать  
Как лучше прочитать большой файл
    #34379519
^ozzy^
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
^ozzy^
Участник
Сие уже известно :)
...
Рейтинг: 0 / 0
09.03.2007, 07:06:47
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Как лучше прочитать большой файл
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=34371766&tid=2146442]:
 0ms
get settings:
 14ms
get forum list:
 28ms
check forum access:
 5ms
check topic access:
 5ms
track hit:
 48ms
get topic data:
 17ms
get forum data:
 5ms
get page messages:
 91ms
get tp. blocked users:
 3ms
others: 330ms
total:  546ms
созд. / загр.: 546ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]