Гость
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark: Отправка InputSplit на конкретный Executor / 5 сообщений из 5, страница 1 из 1
13.12.2021, 00:10
    #40119519
rinda0
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Spark: Отправка InputSplit на конкретный Executor
Можно ли в Spark создать набор InputSplit при чтении RDD с диска и отправить конкретный InputSplt на конкретный Executor

Попробывал переопределить preferredLocations - но не помогло
...
Рейтинг: 0 / 0
13.12.2021, 13:09
    #40119621
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Spark: Отправка InputSplit на конкретный Executor
нет
...
Рейтинг: 0 / 0
13.12.2021, 14:11
    #40119643
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Spark: Отправка InputSplit на конкретный Executor
rinda0
Можно ли в Spark создать набор InputSplit при чтении RDD с диска и отправить конкретный InputSplt на конкретный Executor

ПопробыОвал переопределить preferredLocations - но не помогло
...
Рейтинг: 0 / 0
13.12.2021, 20:36
    #40119743
rinda0
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Spark: Отправка InputSplit на конкретный Executor
Дедушка
нет


А как раздать на все экзекуторы гарантированно одинаковый набор байт ?
...
Рейтинг: 0 / 0
14.12.2021, 14:47
    #40119959
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Spark: Отправка InputSplit на конкретный Executor
ЗаходерКозлик скромно сказал: - Раздели его вдоль! - Тривиально! - сказал Математик.- Позволь, Я уж лучше Его разделю поперек!
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Spark: Отправка InputSplit на конкретный Executor / 5 сообщений из 5, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]