ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark Scala Avro databricks как работать со структурой?
2 сообщений из 2, страница 1 из 1
Spark Scala Avro databricks как работать со структурой?
    #39585976
Denis@nk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Denis@nk
Участник
Добрый день. Осваиваю Spark. Пытаюсь прочитать файл avro с комплексным полем "extraOptions".
Код: plaintext
1.
2.
3.
4.
 import  com.databricks.spark.avro._
 import  org.apache.spark.sql.SparkSession
 
 val  spark = SparkSession.builder().master("yarn").getOrCreate()
 val  df = spark.read.avro("*.avro").select(explode(col("extraOptions"))).select("extraOptions.*")

Ругается что нет поля "extraOptions.*".
Пробовал по имени обратится "extraOptions.name" - тоже не получается.

Научите пожалуйста селектить структуры. Как выбрать строчку в которой "extraOptions.name" = "param1" ?
...
Рейтинг: 0 / 0
17.01.2018, 17:11
| Ответить | Цитировать | Написать  
Spark Scala Avro databricks как работать со структурой?
    #39588786
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
Если ты уже сделал explode, то просто выбирай *, без имени поля.
...
Рейтинг: 0 / 0
23.01.2018, 01:41
| Ответить | Цитировать | Написать  
2 сообщений из 2, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark Scala Avro databricks как работать со структурой?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&msg=39588786&tid=1856648]:
 0ms
get settings:
 9ms
get forum list:
 15ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 51ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 27ms
get tp. blocked users:
 1ms
others: 239ms
total:  355ms
созд. / загр.: 355ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]