ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Медленный код, как найти узкое место?
17 сообщений из 17, страница 1 из 1
Медленный код, как найти узкое место?
    #39206552
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Текстовый файл 11 млн строк, обрабатывается минут 15. Как найти узкое место?


Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
    public static void loadClasses(BufferedReader br, Boolean log) throws IOException {
        String s;
        Pattern openClassPattern = Pattern.compile("class \\d+ (\\w+) : [\\w()]+");

        String currentClassName = "";
        String currentClassData = "";
        boolean classIsOpen = false;

        while ((s = br.readLine()) != null) {
            if(!classIsOpen) {
                Matcher openClassMatcher = openClassPattern.matcher(s);
                if (s.length() > 5 && openClassMatcher.matches()) {
                    //open class
                    currentClassName = openClassMatcher.group(1);
                    classIsOpen = true;
                }
            }

            currentClassData += s + "\r\n";

            if (s.equals("class_end")) {
                classes.put(currentClassName, currentClassData);
                if(log)
                    System.out.println("Found class " + currentClassName);
                currentClassData = "";
                currentClassName = "";
                classIsOpen = false;
            }
        }
    }
...
Рейтинг: 0 / 0
02.04.2016, 10:35
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206557
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
Я бы попробовал StringBuffer - append вместо += для склеивания строк. Не думаю, что радикально, но хоть немного поможет...
...
Рейтинг: 0 / 0
02.04.2016, 10:46
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206558
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
http://korzh.net/2010-01-konkatenaciya-strok-v-java-bystree.html

Опечатка. StringBuilder.
...
Рейтинг: 0 / 0
02.04.2016, 10:48
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206561
Фотография Где-то в степи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Где-то в степи
Участник
Hett,
можно попробовать распараллелить типа disruptora
...
Рейтинг: 0 / 0
02.04.2016, 10:53
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206564
irbis_al
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
irbis_al
Участник
Vladimir BaskakovЯ бы попробовал StringBuffer - append вместо += для склеивания строк. Не думаю, что радикально, но хоть немного поможет...

У меня был опыт,правда не на андроиде а на большой java...
StringBuffer именно радикально решила проблему с производительностью.
...
Рейтинг: 0 / 0
02.04.2016, 10:58
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206595
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
just_vladimir
Участник
Hett,
регулярные выражения стоят относительно дорого, я бы попробовал написать код без нид них.
...
Рейтинг: 0 / 0
02.04.2016, 12:30
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206597
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
just_vladimir
Участник
А вообще для поиска узких мест нужно пользоваться профайлером.
...
Рейтинг: 0 / 0
02.04.2016, 12:32
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206619
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
just_vladimirА вообще для поиска узких мест нужно пользоваться профайлером.
Уже есть бухтелка в адрес профайлера. От Романа Елизарова. Вот нагуглю - приаттачу.

Профайлер нужен когда у вас есть очень много кода и вы ничего не знаете о метриках отклика.
В данном примере System.nanoTime() будет точнее и юзабельнее. Есть точка входа и точка
выхода и 1 цикл с циклическим исполнением .matcher() который может и является основным
тормозом.
...
Рейтинг: 0 / 0
02.04.2016, 13:57
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206626
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
у него матчер выключается после первого мача и включается снова после встречи class_end.
это наводит на мысль, что большую часть времени мачер выключен и проблема не в нем, хотя конечно зависит от данных

помимо StringBuilder можно предложить вместо s.equals("class_end") сначала сравнивать hashcode, и только потом equals

и еще, тут readline - довольно слабое место, в нем тоже есть копирование. Большие файлы лучше так не обрабатывать.
...
Рейтинг: 0 / 0
02.04.2016, 14:19
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206635
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
автору него матчер выключается после первого мача и включается снова после встречи class_end.
это наводит на мысль, что большую часть времени мачер выключен и проблема не в нем, хотя конечно зависит от данных
Именно так.
Всего там 12 тыс классов примерно идут друг за другом, так что матчер срабатывает относительно редко.
А нельзя какой-то профайл посмотреть, какая строчка сколько выполнялась суммарно?
...
Рейтинг: 0 / 0
02.04.2016, 15:03
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206654
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Сделал так:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
    public static void loadClasses(BufferedReader br, Boolean log) throws IOException {
        String s;
        Pattern openClassPattern = Pattern.compile("class \\d+ (\\w+) : [\\w()]+");

        String currentClassName = "";
        StringBuilder currentClassData = new StringBuilder();
        boolean classIsOpen = false;

        while ((s = br.readLine()) != null) {
            if(!classIsOpen) {
                Matcher openClassMatcher = openClassPattern.matcher(s);
                if (s.length() > 5 && openClassMatcher.matches()) {
                    //open class
                    currentClassName = openClassMatcher.group(1);
                    classIsOpen = true;
                }
            }

            currentClassData.append(s);
            currentClassData.append("\r\n");

            if (s.equals("class_end")) {
                classes.put(currentClassName, currentClassData.toString());
                if(log)
                    System.out.println("Found class " + currentClassName);
                currentClassData.setLength(0);
                currentClassName = "";
                classIsOpen = false;
            }
        }
    }



Теперь секунд за 7 выполняется. Все таки узким местом была конкатенация строк :)
...
Рейтинг: 0 / 0
02.04.2016, 15:57
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39206672
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
Так больше нечему было. А там с конкатенацией - неявное создание и освобождение объектов.
...
Рейтинг: 0 / 0
02.04.2016, 16:37
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39207788
korshun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
korshun
Участник
HettТекстовый файл 11 млн строк, обрабатывается минут 15.
HettСделал так: ... Теперь секунд за 7 выполняется.
Хренасе разница! о_О
Простите меня за мой французский :)
...
Рейтинг: 0 / 0
04.04.2016, 17:57
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39207868
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
А может быть такое, что файл закэшировался на уровне ОС ?
...
Рейтинг: 0 / 0
04.04.2016, 19:40
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39207952
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
UsmanА может быть такое, что файл закэшировался на уровне ОС ?
не, это реальная разница
...
Рейтинг: 0 / 0
04.04.2016, 23:16
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39208105
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Подозреваю, что у него currentClassData вырастает до мегабайтов и/или десяток-сотен мегабайт. А он его на каждой итерации туда-сюда.
...
Рейтинг: 0 / 0
05.04.2016, 10:05
| Ответить | Цитировать | Написать  
Медленный код, как найти узкое место?
    #39208770
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Там всего 440 мегабайт файл. В нем 12000 классосв, некоторые пустые, некоторые большие, может мегабайт максимум.
...
Рейтинг: 0 / 0
05.04.2016, 21:13
| Ответить | Цитировать | Написать  
17 сообщений из 17, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Медленный код, как найти узкое место?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39206552&tid=2124194]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 82ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 76ms
get tp. blocked users:
 2ms
others: 243ms
total:  452ms
созд. / загр.: 452ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]