Spark Scala Avro databricks как работать со структурой? / NoSQL, Big Data

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark Scala Avro databricks как работать со структурой?

2 сообщений из 2, страница 1 из 1

Spark Scala Avro databricks как работать со структурой?

#39585976

Denis@nk

Участник

Сообщения: 192

Рейтинг: 0 / 0

Добрый день. Осваиваю Spark. Пытаюсь прочитать файл avro с комплексным полем "extraOptions".

Код: plaintext

1.
2.
3.
4.

 import  com.databricks.spark.avro._
 import  org.apache.spark.sql.SparkSession
 
 val  spark = SparkSession.builder().master("yarn").getOrCreate()
 val  df = spark.read.avro("*.avro").select(explode(col("extraOptions"))).select("extraOptions.*")

Ругается что нет поля "extraOptions.*".
Пробовал по имени обратится "extraOptions.name" - тоже не получается.

Научите пожалуйста селектить структуры. Как выбрать строчку в которой "extraOptions.name" = "param1" ?

...

Рейтинг:

0 / 0

17.01.2018, 17:11

| Ответить | Цитировать | Написать

Spark Scala Avro databricks как работать со структурой?

#39588786

Apex

Участник

Откуда: Made in USSR

Сообщения: 3 841

Рейтинг: 0 / 0

Если ты уже сделал explode, то просто выбирай *, без имени поля.

...

Рейтинг:

0 / 0

23.01.2018, 01:41

| Ответить | Цитировать | Написать

2 сообщений из 2, страница 1 из 1

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark Scala Avro databricks как работать со структурой?

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=48&tid=1856648]:	0ms
get settings:	11ms
get forum list:	13ms
check forum access:	4ms
check topic access:	4ms
track hit:	164ms
get topic data:	11ms
get forum data:	2ms
get page messages:	43ms
get tp. blocked users:	1ms
others:	13ms

total:	266ms