ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Failed to load com.example.Application
6 сообщений из 6, страница 1 из 1
Failed to load com.example.Application
    #40092479
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
подскажите, похоже что-то простое упускаю. для POC нужно запустить совсем простое spring boot приложение в spark (через spark-submit.sh). взял соседнее приложение, что у нас работает, выкинул все ненужное, а оно не запускается

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
2021-08-22 07:05:18,412 WARN  [main] deploy.SparkSubmit$$anon$2 (Logging.scala:logWarning(87)) - Failed to load com.example.Application.
java.lang.ClassNotFoundException: com.example.Application
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
        at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:806)
        at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
        at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

в POM у меня
Код: plaintext
1.
	<groupId>com.example</groupId>
	<artifactId>etl</artifactId>
в package com.example
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
package com.example;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.scheduling.annotation.EnableScheduling;

@SpringBootApplication
@EnableScheduling
public class Application {

	public static void main(String[] args) {
		SpringApplication.run(Application.class, args);
	}
}



локально запускается и работает, а вот через spark-submit чего-то никак, хотя соседнее приложение работает
...
Рейтинг: 0 / 0
22.08.2021, 10:12
| Ответить | Цитировать | Написать  
Failed to load com.example.Application
    #40092481
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
блин, имелось ввиду com.example.etl пакадж и запускаю com.example.etl.Application

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
2021-08-22 07:22:45,508 WARN  [main] deploy.SparkSubmit$$anon$2 (Logging.scala:logWarning(87)) - Failed to load com.example.etl.Application.
java.lang.ClassNotFoundException: com.example.etl.Application
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
        at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:806)
        at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
        at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
...
Рейтинг: 0 / 0
22.08.2021, 10:26
| Ответить | Цитировать | Написать  
Failed to load com.example.Application
    #40092483
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
H5N1,

Вы там в своем Усть-Зажопинске вообще документацию не читаете?

https://spark.apache.org/docs/latest/submitting-applications.html:

spark
Once a user application is bundled, it can be launched using the bin/spark-submit script. This script takes care of setting up the classpath with Spark and its dependencies, and can support different cluster managers and deploy modes that Spark supports:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]



у spring-boot формат упаковки к подобному запуску не располагает.
...
Рейтинг: 0 / 0
22.08.2021, 10:34
| Ответить | Цитировать | Написать  
Failed to load com.example.Application
    #40092484
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Андрей Панфилов

у spring-boot формат упаковки к подобному запуску не располагает.


соседнее приложение на spring boot, чуть старшей версии, замечательно года три стартует через spark-submit
...
Рейтинг: 0 / 0
22.08.2021, 10:42
| Ответить | Цитировать | Написать  
Failed to load com.example.Application
    #40092486
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
H5N1
соседнее приложение на spring boot, чуть старшей версии, замечательно года три стартует через spark-submit


Вам spark говорит что в вашем jar в / вашего класса нет, мурзилкадокументация в картинках показывает что и где на самом деле лежит, но нужно же обязательно спорить и утверждать что якобы что-то задеплоенное черт знает когда работает, вместо того чтобы просто взять и посмотреть как это что-то упаковано.
...
Рейтинг: 0 / 0
22.08.2021, 10:51
| Ответить | Цитировать | Написать  
Failed to load com.example.Application
    #40092521
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Андрей Панфилов

Вам spark говорит что в вашем jar в / вашего класса нет, мурзилкадокументация в картинках показывает что и где на самом деле лежит, но нужно же обязательно спорить и утверждать что якобы что-то задеплоенное черт знает когда работает, вместо того чтобы просто взять и посмотреть как это что-то упаковано.

действительно. спасибо.
действительно похоже зацепил магию от shade плагина
...
Рейтинг: 0 / 0
22.08.2021, 17:13
| Ответить | Цитировать | Написать  
6 сообщений из 6, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Failed to load com.example.Application
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=40092479&tid=2120368]:
 0ms
get settings:
 21ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 31ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 142ms
get tp. blocked users:
 1ms
others: 14ms
total:  244ms
созд. / загр.: 244ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]