Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
01.12.2021, 14:33
|
|||
|---|---|---|---|
|
|||
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
Здравствуйте! Я джун. Недавно перешел из MS SQL + python(pandas) на Spark. Нужно писать Spark job-ы (переместить данные, проанализировать данные) на Scala. Сейчас начал изучать Scala. Нужно ли мне вдаваться во все тяжкие, чтобы познать и освоить ООП Scala или все таки для работы в Spark достаточно уметь применять местные RDD-команды и вдаваться в полиморфизм, абстрактные классы, в защиту от переопределения и т.д. не нужно, это необходимо больше для разработчиков Scala? На Python писал в стиле ФП. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2021, 17:51
|
|||
|---|---|---|---|
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
sysn1k, чтобы удостовериться - PySpark не предлагать? мне вполне хватает и вполне нормально работает с другими питоновскими библиотеками (Pandas и пр.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2021, 18:11
|
|||
|---|---|---|---|
|
|||
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
vikkiv, изначально на PySpark учился. На нынешней работе нужно уже на Scala писать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2021, 18:24
|
|||
|---|---|---|---|
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
sysn1k изначально на PySpark учился. На нынешней работе нужно уже на Scala писать. зависит от канторы, кто-то пишет ноутбуки, я сходу и не могу определить скала это или питончик. а есть те кто из жава шли и воротят все по полной программе - сплошные flatmap и внутри жесть по плоной. учи скалу, там платят x2. не ошибешься. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2021, 20:13
|
|||
|---|---|---|---|
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
Как только перед вами встанет вопрос о действительно серьёзных и производительных пайплайнах вопрос о PySpark отпадёт сам собой. sysn1k Нужно ли мне вдаваться во все тяжкие Но как только сложность ваших трансформаций увеличится и вы начнёте писать функции, то вам понадобится вся Scala (ну почти), если только вы будете стремиться к поддерживаемости и производительности ваших пайплайнов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
02.12.2021, 02:44
|
|||
|---|---|---|---|
Какие знания Scala нужны, чтобы работать в Spark? |
|||
|
#18+
Дедушка ...Как только перед вами встанет вопрос о действительно серьёзных и производительных пайплайнах вопрос о PySpark отпадёт сам собой... это ведь извечная дилемма противоположностей - скриптовые подходы против компилированных гибкость и простота против производительности и долгой разработки естественно что чем длиннее цепь PySpark->Scala->Java API/интерпретаторов тем медленнее это будет работать. просто большинство классов задач в моей практике обычно ставят приоритет определённого баланса между сложностью решения и чтобы это было быстро доставлено бизнесу с доступной поддержкой (где ресурсы можно найти на рынке труда быстро и дёшево) понятно что где-то на более узком сегменте приоритеты будут немного другие. (но там и объём рынка намного меньше) так что стандартный подход поиска нужного соотношения недостатков и преимуществ в котором у каждого свои предпочтения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/search_topic.php?author=%D1%87%D0%B5%D0%B1%D1%83%D1%80%D0%B0%D0%BD&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
35ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 6310ms |
| total: | 6457ms |
| 0 / 0 |
