ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / загрузка данных из текстового файла в базу: какие способы существуют
13 сообщений из 13, страница 1 из 1
загрузка данных из текстового файла в базу: какие способы существуют
    #39146013
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
задача: загрузить данные из лога в бд

пример записи в логе:
[2015-10-25T13:31:03.667528 #11443] INFO -- : Filters: {"country_code"=>["BE", "HR", "CZ", "DK", "EE", "FI", "FR", "DE", "GR", "HU", "IS", "IE", "IT", "LU"], "parent_industry"=>["Big Data", "Enterprise", "FinTech"]}, log_id: 6d3da824cf06

что делала: импортировала из лога в csv файл, и из csv файла - в базу

1) какие альтернативные решения существуют?
2) какие форматы кроме csv можно (лучше) использовать?
...
Рейтинг: 0 / 0
13.01.2016, 01:46
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146079
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Лог - это простой файл (приложение, выгружающее файл) или некая система, имеющая интерфейс доступа к данным извне?

mini.weblabкакие альтернативные решения существуют?
Ну, например, заливка данных из логгера напрямую в таблицы БД средствами встроенного языка (VBA, etc.). Или экспорт лога в другие table-like форматы (XLS, XML, etc.).

mini.weblabкакие форматы кроме csv можно (лучше) использовать?
Можно - любые вменяемые. Лучше - трудно сказать, LOAD DATA LOCAL INFILE - один из наиболее быстрых способов загрузки, и в то же время достаточно гибкий.
...
Рейтинг: 0 / 0
13.01.2016, 09:23
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146242
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
Akina,

спасибо за ответ

( лог - это обычный текстовой файл )
...
Рейтинг: 0 / 0
13.01.2016, 11:51
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146245
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
mini.weblabзадача: загрузить данные из лога в бд

пример записи в логе:
[2015-10-25T13:31:03.667528 #11443] INFO -- : Filters: {"country_code"=>["BE", "HR", "CZ", "DK", "EE", "FI", "FR", "DE", "GR", "HU", "IS", "IE", "IT", "LU"], "parent_industry"=>["Big Data", "Enterprise", "FinTech"]}, log_id: 6d3da824cf06

что делала: импортировала из лога в csv файл, и из csv файла - в базу

1) какие альтернативные решения существуют?
2) какие форматы кроме csv можно (лучше) использовать?

Легче всего написать на Python простую программку, которая это будет делать.
...
Рейтинг: 0 / 0
13.01.2016, 11:52
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146280
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
mini.weblabлог - это обычный текстовой файл
В таком случае LOAD DATA LOCAL INFILE имхо оптимален. И никаких преобразований в CSV не нужно - всю обработку можно провести непосредственно в момент загрузки.

MasterZivЛегче всего написать на Python простую программку
А чё не на брейнфаке?
...
Рейтинг: 0 / 0
13.01.2016, 12:12
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146327
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
пока что все на Питоне и написано

Akina, в Питон-скрипте я использую LOAD LOCAL INFILE, для загрузки полученного (из лог-файла) csv файла. Но как обойтись одним только LOAD LOCAL INFILE я не знаю. Строку из файла я привела, если не трудно напиши свой вариант. Спасибо
...
Рейтинг: 0 / 0
13.01.2016, 12:47
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146550
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
mini.weblabкак обойтись одним только LOAD LOCAL INFILE я не знаю.
Читать мануал и изучать в нём примеры, особенно со слов http://dev.mysql.com/doc/refman/5.6/en/load-data.html The column list can contain either column names or user variables. With user variables, the SET clause enables you to perform transformations on their values before assigning the result to columns.
...
Рейтинг: 0 / 0
13.01.2016, 15:43
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146567
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Akina
MasterZivЛегче всего написать на Python простую программку
А чё не на брейнфаке?

А то, что Python лучше и практичнее brainfuck-а. Ну и что почти наверняка -- у brainfuck-а нет библиотеки для доступа к MySQL, а
у Python -- есть (и не одна).
...
Рейтинг: 0 / 0
13.01.2016, 15:59
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146582
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
Akina,

думаю, что на Питоне будет проще :)
...
Рейтинг: 0 / 0
13.01.2016, 16:05
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146587
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
mini.weblabдумаю, что на Питоне будет проще
Просто - не значит правильно. Обработка данных - задача SQL-сервера, вот и оставьте это ему. А клиентская часть пусть красивые картинки выводит...
...
Рейтинг: 0 / 0
13.01.2016, 16:07
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146594
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
кстати, вы зря смеетесь
на одной из моих работ прикладные математики писали алгоритмы для разработчиков через таблички в Экселе

и еще после Питона можно выучить С и С++
правда, но я пока не готова на такой подвиг
...
Рейтинг: 0 / 0
13.01.2016, 16:13
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146793
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mini.weblab
Участник
еще спрошу,
стоило так делать или нет ?

при конвертации в csv размер файла увеличился примерно в 3 раза
(это потому, что я преобразовывала сразу в 1 НФ)

например, запись из примера преобразовывалась в набор записей
log_id, time, value_id, filter_name, filter_value
6d3da824cf06, 2015-10-25T13:31:03.667528, 11443, country_code, BE
6d3da824cf06, 2015-10-25T13:31:03.667528, 11443, country_code, HR
....
6d3da824cf06, 2015-10-25T13:31:03.667528, 11443, parent_industry, Big Data
6d3da824cf06, 2015-10-25T13:31:03.667528, 11443, parent_industry, FinTech
....
...
Рейтинг: 0 / 0
13.01.2016, 21:25
| Ответить | Цитировать | Написать  
загрузка данных из текстового файла в базу: какие способы существуют
    #39146956
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Так у Вас исходные данные ещё и денормализованы... тогда без предварительной обработки загрузить их, само собой, не получится.
Хотя я бы всё равно загружал лог во временную таблицу на сервере, и уже оттуда парсил в боевые таблицы. В рамках ХП, само собой.
...
Рейтинг: 0 / 0
14.01.2016, 09:07
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / загрузка данных из текстового файла в базу: какие способы существуют
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=39146013&tid=1832279]:
 0ms
get settings:
 10ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 197ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 64ms
get tp. blocked users:
 2ms
others: 239ms
total:  551ms
созд. / загр.: 551ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]