ReSQL.ru
     
powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / парсер больших файлов. Что использовать?
25 сообщений из 28, страница 1 из 2
  1  все
парсер больших файлов. Что использовать?
    #38712949
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
Имеется файл dump.sql размером 10 Гб. Внутри находятся INSERT sql-запросы. Мне нужно будет вытаскивать эти insert-ы и анализировать.
Какую технологию лучше применить чтобы распарсить подобные файлы?
...
Рейтинг: 0 / 0
05.08.2014, 12:56
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712953
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
https://www.google.com/search?q=Java SQL parser
Если писать самому, то через "конечный автомат"
...
Рейтинг: 0 / 0
05.08.2014, 12:58
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712955
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Пока ждете ответа от тех кто реально с этим сталкивался,
вот статья http://www.baeldung.com/java-read-lines-large-file
ну и в гугле можно варианты посмотреть
https://www.google.ru/search?https://www.google.ru/search?q=java parse large file&oq=java parse big file
...
Рейтинг: 0 / 0
05.08.2014, 12:59
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712960
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
Как правильно считать этот файл, чтоб он в оперативную память не загонялся?
...
Рейтинг: 0 / 0
05.08.2014, 13:03
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712961
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
NixicПока ждете ответа от тех кто реально с этим сталкивался,
вот статья http://www.baeldung.com/java-read-lines-large-file

Для нубов какой-то материал. По-хорошему стоит сырые данные загрузить в память в большом количестве и там уже их стримить и парсить, догружая остальное.
...
Рейтинг: 0 / 0
05.08.2014, 13:05
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712964
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
Оперативка у меня ограничена 3 Гб.
...
Рейтинг: 0 / 0
05.08.2014, 13:06
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712968
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Blazkowicz,
первая ссылка в гугл по запросу "java parse big files". Нубская она или нет - фз)
...
Рейтинг: 0 / 0
05.08.2014, 13:09
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712969
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
sanringoКак правильно считать этот файл, чтоб он в оперативную память не загонялся?
Чтобы минимизировать расход памяти нужно стримить (смотри InputStream, Reader) и складывать в буфер. При обнаружении разделителя SQL выражений - буфер парсить.
Но есть ли смысл минимизировать расход по памяти? Сложно сказать, не зная всей задачи. Я бы грузил максимальный объев память, парсил бы на SQL выражения и отправлял в пул потоков парсить отдельные выражения. Во-первых чтобы максимально загрузить все ядра CPU, во-вторых, чтобы читать\перечитывать только из памяти.
...
Рейтинг: 0 / 0
05.08.2014, 13:10
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38712990
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
sanringo, файл с insert-ами существует только для одной цели - загрузить данные в БД.

Вот загрузи и вытаскивай и анализируй. Все прочие решения будут тебе опухолью мозка.

Успехов.
...
Рейтинг: 0 / 0
05.08.2014, 13:24
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713029
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
mayton, дело в том что файл косячный. При импорте в базу выскакивает ошибка. опытным путём было обнаружено, что причина в том, что текстовые поля содержат управляющие символы (например \, ", '). Поэтому я хочу сначала исправить подобные insert-ы и только потом загонять в базу
...
Рейтинг: 0 / 0
05.08.2014, 13:46
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713034
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
sanringomayton, дело в том что файл косячный. При импорте в базу выскакивает ошибка. опытным путём было обнаружено, что причина в том, что текстовые поля содержат управляющие символы (например \, ", '). Поэтому я хочу сначала исправить подобные insert-ы и только потом загонять в базу
Как, обычно, саму задачу мы узнаём в самом конце. Что мешало сразу описать проблему?
...
Рейтинг: 0 / 0
05.08.2014, 13:50
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713062
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
Неужели никто не сталкивался с подобной задачей
...
Рейтинг: 0 / 0
05.08.2014, 14:13
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713070
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
sanringoНеужели никто не сталкивался с подобной задачей
Читаешь построчно (BufferedReader) - длинных строк в файле нет. Значит по памяти не страшно. Строковые литералы на несколько строк не разбиваются.
Анализируешь кавычки в каждой строке на предмет выделения строковых литералов.
Анализируешь содержимое строковых литералов на предмет символов, которые надо эскейпить.

В чем сложности?
...
Рейтинг: 0 / 0
05.08.2014, 14:16
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713088
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
BlazkowiczСтроковые литералы на несколько строк не разбиваются.
В чем сложности?
В самом текстовом поле присутствуют символы перехода строки (Enter-ы), ', ". Там содержится текст статьи. Проблема как их отличить от sql-управляющих символов.
Ещё сложность например INSERT INTO table VALUES (10, 'ООО РиК', 'ОАО ВП') можно понять как вставляются три поля первое=10, второе = 'ООО РиК', третье = 'ОАО ВП'. Однако в реальности должно быть два первое = 10, второе = 'ООО РиК', 'ОАО ВП'
...
Рейтинг: 0 / 0
05.08.2014, 14:34
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713095
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
sanringo,

Это вы уже сами для вашего SQL должны выбирать какие правила нужно использовать. Угадывать какие у вас там косяки в файле по форуму, достаточно сложно.
...
Рейтинг: 0 / 0
05.08.2014, 14:40
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713118
sanringo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanringo
Участник
кроме BufferedReader ещё идеи есть?
...
Рейтинг: 0 / 0
05.08.2014, 14:52
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713120
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
sanringoкроме BufferedReader ещё идеи есть?
Есть. Но чем не устраивает BufferedReader?
...
Рейтинг: 0 / 0
05.08.2014, 14:53
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713159
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
sanringoBlazkowiczСтроковые литералы на несколько строк не разбиваются.
В чем сложности?
В самом текстовом поле присутствуют символы перехода строки (Enter-ы), ', ". Там содержится текст статьи. Проблема как их отличить от sql-управляющих символов.
Ещё сложность например INSERT INTO table VALUES (10, 'ООО РиК', 'ОАО ВП') можно понять как вставляются три поля первое=10, второе = 'ООО РиК', третье = 'ОАО ВП'. Однако в реальности должно быть два первое = 10, второе = 'ООО РиК', 'ОАО ВП'
Тот кто создал проблему - сам себе злобный Буратино. И я-бы его посадил
править 10 в текстовом редакторе вручную.

Но по хорошему это делается заменой некоторого шаблона на пустую строку.
Тоесть если мы знаем что в строке table всегда два поля то делаем замену

Код: plsql
1.
'ООО РиК', 'ОАО ВП'



на

Код: plsql
1.
'ООО РиК'', ''ОАО ВП'



Вобщем хватит цыганить из разработчиков готовое решение. Ты сам предоставь
кейсы которые надо исправить и тебе скажут конкретно.
...
Рейтинг: 0 / 0
05.08.2014, 15:16
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713192
ART-CODE
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ART-CODE
Участник
Поскольку ОС не указана, значит Windows подходит :)
Тогда - вызвать из командной строки microsoft logparser.
он все шустро разберет как надо и в БД зальет.
...
Рейтинг: 0 / 0
05.08.2014, 15:36
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713205
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Blazkowicz https://www.google.com/search?q=Java SQL parser
Если писать самому, то через "конечный автомат"

Есть же ANTLR...

А на счёт Java SQL parser ... Я бы не верил. SQL бывает разный, и у разбора этого SQL бывают разные цели.
...
Рейтинг: 0 / 0
05.08.2014, 15:46
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713208
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
sanringoКак правильно считать этот файл, чтоб он в оперативную память не загонялся?

А его не нужно в память загонять, он читается как поток и на потоке парсится, за один просмотр.
Если за один просмотр не удастся (это зависит от языка), то можно сделать за несколько.
...
Рейтинг: 0 / 0
05.08.2014, 15:48
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713211
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
BlazkowiczsanringoНеужели никто не сталкивался с подобной задачей
Читаешь построчно (BufferedReader) - длинных строк в файле нет.
В чем сложности?

Даже не построчно. Обычно посимвольно читают.
...
Рейтинг: 0 / 0
05.08.2014, 15:49
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713216
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
sanringoВ самом текстовом поле присутствуют символы перехода строки (Enter-ы), ', ". Там содержится текст статьи. Проблема как их отличить от sql-управляющих символов.

Эти все проблемы решаются на раз при написании этого самого парсера.
Только его надо писать, а не на форумах о нём рассуждать.

sanringoЕщё сложность например INSERT INTO table VALUES (10, 'ООО РиК', 'ОАО ВП') можно понять как вставляются три поля первое=10, второе = 'ООО РиК', третье = 'ОАО ВП'. Однако в реальности должно быть два первое = 10, второе = 'ООО РиК', 'ОАО ВП'


А это -- надуманные сложности. Это именно три значения, указанные через две запятых.
Значение

Код: plaintext
1.
'ООО РиК', 'ОАО ВП'

невалидная лексема.

Это тоже решается всё, когда пишешь парсер.
...
Рейтинг: 0 / 0
05.08.2014, 15:52
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713224
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
MasterZivА на счёт Java SQL parser ... Я бы не верил. SQL бывает разный, и у разбора этого SQL бывают разные цели.
ТС очень долго "кололся" что и зачем ему парсить.
...
Рейтинг: 0 / 0
05.08.2014, 15:57
| Ответить | Цитировать | Написать  
парсер больших файлов. Что использовать?
    #38713227
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
MasterZivА его не нужно в память загонять, он читается как поток и на потоке парсится, за один просмотр.
Если за один просмотр не удастся (это зависит от языка), то можно сделать за несколько.
Больше памяти может уйти на результаты парсинга.

Обычно есть желание получившееся дерево сохранить и потом как-то обрабатывать. Если уж совсем мало памяти, то как-то хитро писать в промежуточный файл некий скомпилированный пи-код.

AFAIK
MasterZivЭти все проблемы решаются на раз при написании этого самого парсера.
Только его надо писать, а не на форумах о нём рассуждать.

+ миллион
простейший парсер за пару дней сварганить можно. Хоть на чистом C, хоть на Java, хоть на PL/SQL
...
Рейтинг: 0 / 0
05.08.2014, 15:59
| Ответить | Цитировать | Написать  
25 сообщений из 28, страница 1 из 2
  1  все
Форумы / Java [игнор отключен] [закрыт для гостей] / парсер больших файлов. Что использовать?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&tid=2126772]:
 0ms
get settings:
 8ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 58ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 65ms
get tp. blocked users:
 1ms
others: 12ms
total:  177ms
созд. / загр.: 177ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]