ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / работа с бд
15 сообщений из 15, страница 1 из 1
работа с бд
    #39636488
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
здравствуйте всем!
да понимаю что это совсем уж нубский вопрос, но все же мне интересно как будет лучше?
к примеру есть некий файл и в нем около 40К записи/строк данных и их надо записать в бд.
как поступили бы?
а ещё не веб проект.
...
Рейтинг: 0 / 0
26.04.2018, 06:49
| Ответить | Цитировать | Написать  
работа с бд
    #39636500
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Bulk Insert?
...
Рейтинг: 0 / 0
26.04.2018, 07:33
| Ответить | Цитировать | Написать  
работа с бд
    #39636524
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Музаффар,
Искать средство которое сначала качает файл на сервер И ТАМ вставляет.
Утилиты БД.
...
Рейтинг: 0 / 0
26.04.2018, 08:23
| Ответить | Цитировать | Написать  
работа с бд
    #39636526
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
40к это много?
...
Рейтинг: 0 / 0
26.04.2018, 08:25
| Ответить | Цитировать | Написать  
работа с бд
    #39636531
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
Blazkowicz,

идея хорошая об этом думал только вот проблема в том что строки представляют из себя цифры можно сказать даже без разделителей
20182304141200000000502001001002000000000207330000001000000018150211057330024122
и есть некая инструкция говорящий что здесь что к примеру с 1 по 8 это дата (2018.23.04) и т.д....
...
Рейтинг: 0 / 0
26.04.2018, 08:36
| Ответить | Цитировать | Написать  
работа с бд
    #39636542
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Раздели данные, основываясь на этой инстуркции и запиши в БД. Тут вроде даже вариантов особо нет. Чего сидеть теоритизировать...
...
Рейтинг: 0 / 0
26.04.2018, 08:47
| Ответить | Цитировать | Написать  
работа с бд
    #39636549
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Музаффар,
Действительно. Не теоретизируй.
40к может и за пару секунд вставится.)
...
Рейтинг: 0 / 0
26.04.2018, 08:54
| Ответить | Цитировать | Написать  
работа с бд
    #39636552
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
Hett,
авторзапиши в БД
вот тут и вопрос появился )

1) читать файл -> разбить по инструкции на части -> запись в бд через jdbc
2) .... только с помощью пула
3) как выше уже было рекомендовано с помощью самой бд, но в этом случае как все организовать? читать файл, разбить на части с разделителем, создать файл и передать этот файл бд?
...
Рейтинг: 0 / 0
26.04.2018, 08:58
| Ответить | Цитировать | Написать  
работа с бд
    #39636557
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Музаффар,
Странный ты.
Первый обязательный пункт - парсер файла к нужному виду.
Потом ответ на вопрос, нуна ли скорость и пакетный режим.
Делай!
...
Рейтинг: 0 / 0
26.04.2018, 09:03
| Ответить | Цитировать | Написать  
работа с бд
    #39636571
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Музаффар3) как выше уже было рекомендовано с помощью самой бд, но в этом случае как все организовать? читать файл, разбить на части с разделителем, создать файл и передать этот файл бд?
Oracle SQLLoader
...
Рейтинг: 0 / 0
26.04.2018, 09:27
| Ответить | Цитировать | Написать  
работа с бд
    #39636616
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
для mysql

 
файлsadasda
asdasdsdas
1112223345454
 
таблица
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE database1.loa (
  vag bigint(20) DEFAULT NULL,
  toc int(11) DEFAULT NULL,
  v int(11) DEFAULT NULL
)
ENGINE = MEMORY,
AVG_ROW_LENGTH = 17,
CHARACTER SET utf8,
COLLATE utf8_general_ci;

 
запрос на вставку
Код: sql
1.
2.
3.
4.
5.
6.
7.
LOAD DATA LOCAL INFILE 'путь_до_файла/xxx.txt' INTO TABLE loa
CHARACTER SET cp866
IGNORE 2 LINES
(@d)
SET vag = MID(@d, 1, 3),
toc = MID(@d, 3, 3),
v = MID(@d, 6, 3)

...
Рейтинг: 0 / 0
26.04.2018, 10:47
| Ответить | Цитировать | Написать  
работа с бд
    #39636647
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Автор не указал требований. Может ему надо чтобы бухгалтер могла этим заниматься, следовательно нужна интерфейсная часть. Или он просто хочет изучить механизмы работы с БД и написать код, загружающий данные. А может ему нужно сделать это "разок" и малой кровью.
...
Рейтинг: 0 / 0
26.04.2018, 11:40
| Ответить | Цитировать | Написать  
работа с бд
    #39639102
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Garrick
Участник
Музаффар,
Многие БД умеют самостоятельно загружать/выгружать данные через текстовые файлы, в основном CSV. У вас база-то какая?
...
Рейтинг: 0 / 0
02.05.2018, 22:48
| Ответить | Цитировать | Написать  
работа с бд
    #39639753
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
Hett, нет необходимости интерфейса.
вроде как уже разобрался, с кода вызываю "LOAD DATA INFILE" вроде все норм работает...

Garrick, как понять самостоятельно? типа они могут следит директорию/файл или ещё что то при появлении там файла загружать?
у меня Мускул

З.Ы. спасибо за советы!
...
Рейтинг: 0 / 0
04.05.2018, 08:27
| Ответить | Цитировать | Написать  
работа с бд
    #39639773
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Музаффар,
Это значит у каждой бызы свои собственные утилиты.
...
Рейтинг: 0 / 0
04.05.2018, 09:07
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / работа с бд
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&fpage=47&tid=2122079]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 78ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 48ms
get tp. blocked users:
 2ms
others: 10ms
total:  177ms
созд. / загр.: 177ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]