Добрый день. Изучаю Spark. Пытаюсь на сервере из 4 нод запустить учебные программы. HelloWorld отработал. А чуть посложнее "SparkWordCount" выдает ошибку:


Гуглю весь день и пытаюсь решить проблему.
Вот вроде описание моего решения: https://www.datastax.com/dev/blog/common-spark-troubleshooting
Добавил setJars и все равно такая же ошибка.Вот код Scala:import org.apache.spark.{SparkConf, SparkContext}
 
object SparkWordCount {
  def main(args: Array[String]) {
    // create Spark context with Spark configuration
    val sc = new SparkContext(new SparkConf().setAppName("Spark Count").setJars(Seq(System.getProperty("user.dir") + "/TestScalaSBT.jar")))
 
    // get threshold
    val threshold = args(1).toInt
 
    // read in text file and split each document into words
    val tokenized = sc.textFile(args(0)).flatMap(_.split(" "))
 
    // count the occurrence of each word
    val wordCounts = tokenized.map((_, 1)).reduceByKey(_ + _)
 
    // filter out words with fewer than threshold occurrences
    val filtered = wordCounts.filter(_._2 >= threshold)
 
    // count characters
    val charCounts = filtered.flatMap(_._1.toCharArray).map((_, 1)).reduceByKey(_ + _)
 
    System.out.println(charCounts.collect().mkString(", "))
  }
}Программу пишу в IntelliJ 2017 + SBT.
JAR файл распаковывал зипом и убеждался что класс в корне файла есть.
Уже больше идей нет что еще можно сделать.

Копирую скомпилированный файл .jar на сервер и выполняю команду:

В чем ошибка в этом проекте так и не разобрался. Сделал новый проект и все заработало. Вопрос закрыт, спасибо.

Извиняюсь, поспешил, глупость скопировал.
Вот так запускаю: