powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выгрузить в Spark данные из Oracle
4 сообщений из 4, страница 1 из 1
Выгрузить в Spark данные из Oracle
    #39202040
noxdigit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Привет!

Хочу вытащить данные из оракла и погонять их в спарке, использую такой код

Закачиваю данные RDD, это работает, но при попытке выгрузки в файл выдает ошибку
Код: python
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
jack@jackserver:~$ cat sample.py 
import os
#import org.apache.spark.storage.StorageLevel._

os.environ["SPARK_HOME"] = "/home/jack/spark-1.6.1"

from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext

spark_config = SparkConf().setMaster("local[8]")  
sc = SparkContext(conf=spark_config) 
sqlContext = SQLContext(sc)

df = (sqlContext.load(source="jdbc",url="jdbc:oracle:thin:system/***@10.10.10.5:1521:oracledb",dbtable="(select * from maindata.t_invoices)"))
#df.persist()

df.saveAsTextFile("/tmp/spark_out.csv")

sc.stop()


./spark-1.6.1/bin/pyspark sample.py 

Traceback (most recent call last):
  File "/home//sample.py", line 18, in <module>
    df.saveAsTextFile("/tmp/spark_out.csv")
  File "/home//spark-1.6.1/python/lib/pyspark.zip/pyspark/sql/dataframe.py", line 842, in __getattr__
AttributeError: 'DataFrame' object has no attribute 'saveAsTextFile'



Что я делаю не так? Заранее спасибо за помощь!
...
Рейтинг: 0 / 0
Выгрузить в Spark данные из Oracle
    #39203120
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noxdigit,

а есть пример того, что содержится в df после выполнения этой строки

df = (sqlContext.load(source="jdbc",url="jdbc:oracle:thin:system/***@10.10.10.5:1521:oracledb",dbtable="(select * from maindata.t_invoices)"))
...
Рейтинг: 0 / 0
Выгрузить в Spark данные из Oracle
    #39203162
noxdigit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Станислав Клевцовnoxdigit,

а есть пример того, что содержится в df после выполнения этой строки

df = (sqlContext.load(source="jdbc",url="jdbc:oracle:thin:system/***@10.10.10.5:1521:oracledb",dbtable="(select * from maindata.t_invoices)"))



Если вы про то попадают ли туда данные, то да.

По крайней мере
Код: python
1.
print(df.count())


выводит точное количество строк в таблице.

Да и
Код: python
1.
df.show()


тоже показыват те данные из оракла.
...
Рейтинг: 0 / 0
Выгрузить в Spark данные из Oracle
    #39203606
Alex_D
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noxdigit,

Вместо:
Код: java
1.
df.saveAsTextFile("/tmp/spark_out.csv")


Попробуйте:
Код: java
1.
df.rdd.saveAsTextFile("/tmp/spark_out.csv")



Подробней тут.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выгрузить в Spark данные из Oracle
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]