|
загрузка xls
|
|||
---|---|---|---|
#18+
Есть простая задачка ТЗ по которой выглядит вот так: есть файлик с расширением *.xls либо .xlsx который необходимо положить в табличку в oracle db. Сложности начинаются с тем что фалик *.xls либо .xlsx имеет не постоянную структуру в кол-ве и названии колонок. Думал в строну транспонирования таблички в структуру стабильную где header фалика (*.xls либо .xlsx) это key а значение каждой колонки записи это value. Пробывал транспонировать на VBA, но медленно и неповоротливо. Может кто сталкивался с похожей задачей?! Просьба подсказать как решали? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 13:37 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
Для решения подобных задач существуют инструменты ETL, в т.ч. бесплатные. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 13:48 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
andrey_anonymous, эх придется все таки разворачивать пентаху. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 13:51 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarockразворачивать пентаху. Пентаха уже не та. Она "вышла замуж" и взяла фамилиё Hitachi Vantra. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 13:57 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarockфайлик ... положить в табличкуloader ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:00 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
-2-saxarockфайлик ... положить в табличкуloaderА как давно лодырь обучился excel-ки грузить? ...тем более с плавающей структурой... ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:02 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
andrey_anonymousА как давно лодырь обучился excel-ки грузить?Вроде с 8i. andrey_anonymousтем более с плавающей структуройВот именно, что "тем более". ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:12 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
andrey_anonymousА как давно лодырь обучился excel-ки грузить? ...тем более с плавающей структурой... xls(xlsx) -> csv -> loader -> oracle_db Управляющий файл, правда, придется каждый раз подстраивать под "имеет не постоянную структуру в кол-ве и названии колонок". ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:13 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
Oleg M.Ivanovxls(xlsx) -> csv -> loader -> oracle_db Управляющий файл, правда, придется каждый раз подстраивать В том-то и дело. Нужен препроцессинг и генерация управляющего файла. И с этим прекрасно справляются ETL-струменты, и лодыря они позвать тоже вполне себе в состоянии - можно промежуточный файл, можно stream... ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:16 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
-2-andrey_anonymousА как давно лодырь обучился excel-ки грузить?Вроде с 8i. andrey_anonymousтем более с плавающей структуройВот именно, что "тем более". Буду благодарен за демонстрацию хотя бы одного из тезисов (xls лодырем 8i и "тем более с плавающей структурой"). ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:18 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarock... Просьба подсказать как решали? Talend Open Studio for Data Integration. Разбор заголовка с колонками, сравнение с шаблоном маппинга к таблицам в oracle, заливка из непосредственно из датаинтегратора. Муторная задача (( С множеством проверок, шаблонов, валидаторов... ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 14:52 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
Взять в руки Java, Apache POI, JDBC.... делов на пару дней и/или подфорум Работа и пара ящиков доширака ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 15:03 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarock...есть файлик с расширением *.xls либо .xlsx .... Просьба подсказать как решали? Вдруг пригодится. Если Ваша система сама выгружает пользователю файлик для дозаполнения и обратной загрузки, то задача существенно упрощается. Как решали: в этом случае в файлик (наш) application level записывал все необходимые ключи для обратной загрузки, перечень возможных колонок был согласован. Системные колонки были скрыты и защищены от просмотра и изменений. При обратной загрузке application level точно знал что и куда грузить. Колонки, которые пользователь наплодил вне шаблонов - игнорировались. Файлы особо одарённых, изменивших системные данные, - игнорировались. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 15:07 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
andrey_anonymousБуду благодарен за демонстрацию хотя бы одного из тезисов (xls лодырем 8i и "тем более с плавающей структурой"). Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50.
... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 15:15 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
-2- Код: sql 1. 2. 3. 4. 5. 6. 7. 8.
Спасибо, посмеялся :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 15:20 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarock, Пишешь макрос на VBA из экселя, делашь кнопку в файле и вперед. Через ОДБЦ инсертами. Можно сгенерировать файл с инсертами, мерджами или контрольник для лоадера + текстовик с разделителями. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 16:29 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
saxarockнеобходимо положить в табличку в oracle db Насколько регулярно будет возникать данная задача? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 19:59 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
Вам нужно докладывать данные из файла в существующую таблицу ? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2019, 20:13 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
merchНасколько регулярно будет возникать данная задача? Ежедневно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.01.2019, 07:00 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
EvgeniaMakarovaВам нужно докладывать данные из файла в существующую таблицу ? Да ... |
|||
:
Нравится:
Не нравится:
|
|||
24.01.2019, 07:00 |
|
загрузка xls
|
|||
---|---|---|---|
#18+
Я делал так: - XLS конвертировался в XLSX - XLSX заливались в базу как BLOB - С помощью AS_READ_XLSX парсинг Выход универсальный, можно его крутить как хочешь. Я для своих целей ещё в оригинальный исходник добавил вывод информации о merge cells, color metadata и external link file. Есть ещё проект https://github.com/mbleron/ExcelTable, который умеет парсить и XLS и ODF, но мне он не подошёл, так как требует заранее знать название листа, номера столбцов и строк, а в моих входных данных это может плавать. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.01.2019, 11:46 |
|
|
start [/forum/topic.php?fid=52&fpage=87&tid=1882890]: |
0ms |
get settings: |
11ms |
get forum list: |
17ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
41ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
2ms |
others: | 328ms |
total: | 487ms |
0 / 0 |