ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Склейка 2х csv (текстовых) файлов
5 сообщений из 5, страница 1 из 1
Склейка 2х csv (текстовых) файлов
    #38815254
xvz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xvz
Гость
Имеем на входе 2 файла вида:
Файл 1
183064|10001001|info1
183065|10001002|info2
183066|10001003|info3

Файл 2
183064|10001001|addInfo1
183065|10001002|addInfo2.1
183065|10001002|addInfo2.2

Необходимо склеить 2 файла таким образом:

Результат
183064|10001001|info1|addInfo1
183065|10001002|info2|addInfo2.1
183065|10001002|info2|addInfo2.2
183066|10001003|info3

При этом, нужно иметь возможность дальше работать с результатом. Т.е. построчно обрабатывать результирующий файл.
Объем файлов скажем 100 тысяч записей в каждом.
Если бы это лежало в БД, то я бы написал запрос LEFT JOIN, но к сожалению нужно делать обработку скриптами.
В результате будет файл другой структуры.

Помогите пожалуйста.
...
Рейтинг: 0 / 0
24.11.2014, 15:44
| Ответить | Цитировать | Написать  
Склейка 2х csv (текстовых) файлов
    #38815287
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
xvzЕсли бы это лежало в БД, то я бы написал запрос LEFT JOIN, но к сожалению нужно делать обработку скриптами.
В результате будет файл другой структуры.
Если "скрипты" - это не BAT/CMD, а хотя бы VBS - то никаких проблем. Цепляешья к файлу как ADO, через ODBC-драйвер, и работаешь на честном SQL.
Но 100к записей будет работать шопипец медленно - лучше уж всосать данные в некий более вменяемый формат (да хоть бы и Эксель, а ещё лучше Аксесс), там обработать и выплюнуть обратно в текст.
...
Рейтинг: 0 / 0
24.11.2014, 16:04
| Ответить | Цитировать | Написать  
Склейка 2х csv (текстовых) файлов
    #38815295
xvz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xvz
Гость
AkinaЕсли "скрипты" - это не BAT/CMD, а хотя бы VBS - то никаких проблем. Цепляешья к файлу как ADO, через ODBC-драйвер, и работаешь на честном SQL.
Но 100к записей будет работать шопипец медленно - лучше уж всосать данные в некий более вменяемый формат (да хоть бы и Эксель, а ещё лучше Аксесс), там обработать и выплюнуть обратно в текст.

vbs возможен. А вот использование доп программ невозможно =(
...
Рейтинг: 0 / 0
24.11.2014, 16:07
| Ответить | Цитировать | Написать  
Склейка 2х csv (текстовых) файлов
    #38815304
xvz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xvz
Гость
AkinaЕсли "скрипты" - это не BAT/CMD, а хотя бы VBS - то никаких проблем. Цепляешься к файлу как ADO, через ODBC-драйвер, и работаешь на честном SQL.
Но 100к записей будет работать шопипец медленно - лучше уж всосать данные в некий более вменяемый формат (да хоть бы и Эксель, а ещё лучше Аксесс), там обработать и выплюнуть обратно в текст.

Нет ли у вас примера скрипта для работы с 2мя файлами? Во всяком случае можно попробовать и посмотреть время работы.
...
Рейтинг: 0 / 0
24.11.2014, 16:10
| Ответить | Цитировать | Написать  
Склейка 2х csv (текстовых) файлов
    #38816123
Фотография PA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA
Участник
xvz,
Кладёшь в папку с данными файл schema.ini
 , в котором описываешь формат своих файлов. Затем выполняешь требуемую SQL инструкцию:
Код: vbnet
1.
2.
3.
4.
5.
6.
ConnectionString = "Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=Здесь указываем путь к каталогу с файлами;"
Set Command = CreateObject("ADODB.Command")
Command.ActiveConnection = ConnectionString
'Соединяем файл f1 c файлом f2, результат помещаем в файл f3
Command.CommandText = "select f1.*, f2.F3 into [f3.txt] from [f1.txt] f1 left join [f2.txt] f2 on f1.F1 = f2.F1 and f1.F2 = f2.F2"
Command.Execute
...
Рейтинг: 0 / 0
25.11.2014, 14:19
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Склейка 2х csv (текстовых) файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?desktop=1&fid=60&tid=2156116]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 35ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 43ms
get tp. blocked users:
 2ms
others: 226ms
total:  350ms
созд. / загр.: 350ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]