natanabrahamjrСобссно вопрос такой, попросили написать простенькое приложение под спарк стриминг. ну там собирает какие то данные с броукера, неким образом перерабатываются и результаты скидываются в базу.

Написал.. обычное стандалон, т.е. слушает порт брокера, собирает, выкладывает. окей. работает. потом говорят "запусти на кластере". хорошо, гружу спарк кластер поднимаю, через спарк-субмит тоже самое приложение. запускается, работает, собирает, выкладывает.. в самом спарк-стриминге в вебконсоли какие то циферки бегут. я подумал.. может я что-то неправильно сделал? открываю туториалы, смотрю примеры приложений - нет всё так же. внутри приложения описывают коннекшн к потоку, адрес-порт брокера. и т.п.. оно просто запускается в кластере и всё.. Что я делаю не так? зачем он тогда вообще нужен? Какую роль он выполняет, если приложение и так само может работать? у меня складывается ощущение, что я что-то сделал, оно даже работает, но я никак не въеду как оно работает.

Spark нужен когда данные не то что в ОЗУ а на диск не влазят, а работать с ними хочется как с простыми коллекциями, юзая все эти ваши filter/map/fold/reduce etc