ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / C++ [игнор отключен] [закрыт для гостей] / парсинг текстового файла
11 сообщений из 61, страница 3 из 3
  3  все
парсинг текстового файла
    #38423404
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
володька трынькин, тут непонятно с чем мы воюем. Я конечно не спец в этих ваших
питонах но возможно там есть некий ключик который влияет на режим компилляции
рантайма.

И кстати. Ты мог-бы нарисовать и заполнить табличку? нечто вроде

Python sourceElapsed time(sec)1)2)3)4)5)copy file to NULL

В последнем варианте ты просто копируешь файл в устройство NUL или /dev/null.

copy file.txt NUL

или

$ cp file.txt /dev/null
...
Рейтинг: 0 / 0
10.10.2013, 17:53
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38423405
Фотография Anatoly Moskovsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anatoly Moskovsky
Участник
володька трынькинделаю нечто похожее, только не компилятор, а интерпретатор.
на первоначальном этапе нужно разбить файл на лексемы. для этого и читаю посимвольно
А что за программы такие по 100 МБ?
...
Рейтинг: 0 / 0
10.10.2013, 17:54
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38423410
novexelf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
novexelf
Гость
Anatoly Moskovskyволодька трынькинделаю нечто похожее, только не компилятор, а интерпретатор.
на первоначальном этапе нужно разбить файл на лексемы. для этого и читаю посимвольно
А что за программы такие по 100 МБ?

да-да, мне тоже интересно, что вы там интерпритируете, ядро линуха?
...
Рейтинг: 0 / 0
10.10.2013, 17:57
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38423412
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Тут такие expectations... Если время копирования файла не отличается от времени
парсинга (несколько процентов разницы) то мы сделали что смогли и к питону
нет претензий. У тебя просто слабая дисковая подсистема или работает
параллельно явление или процесс который грузит систему другой нагрузкой.
Это конечно смешно но в форуме были любители погонять бенчмарки
которые параллельно смотрели кино в HD качестве или сканировали антивирусом
активный диск.

Если время сильно отличается то надо думать дальше.
...
Рейтинг: 0 / 0
10.10.2013, 17:58
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38423711
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
володька трынькинна первоначальном этапе нужно разбить файл на лексемы
а дальше куда помещается результат работы лексического анализатора?
...
Рейтинг: 0 / 0
10.10.2013, 22:54
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38424896
kT_________
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kT_________
Участник
Коллеги, думаю можно наспамить ссылок про азы оптимизации, типо передавать всё по ссылкам и т.п.
Главное парсер 100% что за алгоритм там, обратите внимание на Спирит Буста, особенно если С++ Вам интересен в долгосрочной перспективе, т.к. ради одной такой задачи учить язык контрпродуктивно.

Если ошибки компиляции на несколько экранов Вас не пугают, пробуйте Спирит, документация норм, примеры, из минусов наверно долгая сборка, но смотря какие словари, не большие не долго собираются ;)
...
Рейтинг: 0 / 0
11.10.2013, 18:52
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38424898
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мультритрединг мать его так. И zero-copy. Форсируем.
...
Рейтинг: 0 / 0
11.10.2013, 18:59
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38424917
kT_________
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kT_________
Участник
maytonМультритрединг мать его так. И zero-copy. Форсируем.

+Inline functions
...
Рейтинг: 0 / 0
11.10.2013, 19:11
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38424922
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ну эт само собой. Не знаю как этом Удаве Питоне с инлайнингом. Думаю что просаживает
он перформанс на работе со строками (декодирование кодовой страницы) и с уборкой мусора.
Да и вообще неизвестно как там строки реализованы. Мутабельны или нет. Unicode или нет.
...
Рейтинг: 0 / 0
11.10.2013, 19:18
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38428273
irokosovskiy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
irokosovskiy
Гость
Парсинг для строки. Думаю не составит труда считать файл в буфер и парсить его:


Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
char * substr(const char *src, int from, int size) 
{
    char * c_TmpStr = new char[size + 1];
    int j = 0;
    for (int i = from; i < from + size; i++)
        c_TmpStr[j++] = src[i];
    c_TmpStr[size] = 0;
    return c_TmpStr;
}
...
Рейтинг: 0 / 0
15.10.2013, 14:39
| Ответить | Цитировать | Написать  
парсинг текстового файла
    #38428279
irokosovskiy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
irokosovskiy
Гость
володька трынькин, вот кусок куда для работы с буфером.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
char * substr(const char *src, int from, int size) 
{
    char * c_TmpStr = new char[size + 1];
    int j = 0;
    for (int i = from; i < from + size; i++)
        c_TmpStr[j++] = src[i];
    c_TmpStr[size] = 0;
    return c_TmpStr;
}
...
Рейтинг: 0 / 0
15.10.2013, 14:40
| Ответить | Цитировать | Написать  
11 сообщений из 61, страница 3 из 3
  3  все
Форумы / C++ [игнор отключен] [закрыт для гостей] / парсинг текстового файла
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]