powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop with Python
11 сообщений из 11, страница 1 из 1
Hadoop with Python
    #39207696
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!

Можете дать ссылку как настроить соединение между cdh4 и питоном?

Спасибо
...
Рейтинг: 0 / 0
Hadoop with Python
    #39207836
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Нашел некую библиотеку pandas

http://pandas.pydata.org/pandas-docs/stable/cookbook.html#hdfstore
...
Рейтинг: 0 / 0
Hadoop with Python
    #39207850
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Pandas к Hadoop имеет такое же отношние как и Эксель к DBF'кам. Что именно надо то?
...
Рейтинг: 0 / 0
Hadoop with Python
    #39207935
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну вообще идея была такая данные из спарка сразу на красивом графике показать
...
Рейтинг: 0 / 0
Hadoop with Python
    #39207960
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1Ну вообще идея была такая данные из спарка сразу на красивом графике показать
Тогда еще вот это может пригодиться
https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html
...
Рейтинг: 0 / 0
Hadoop with Python
    #39208430
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Apexмигель1Ну вообще идея была такая данные из спарка сразу на красивом графике показать
Тогда еще вот это может пригодиться
https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html

А как же использование R для отображения красивых графиков :-)
По поводу применения R знаете что - нибудь ?

А за статью спасибо , Apex !
...
Рейтинг: 0 / 0
Hadoop with Python
    #39208525
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Станислав КлевцовApexпропущено...

Тогда еще вот это может пригодиться
https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html А как же использование R для отображения красивых графиков :-)
По поводу применения R знаете что - нибудь ?Про R я ничего не слышал, но в соседнем топике посоветовали "matplotlib"
...
Рейтинг: 0 / 0
Hadoop with Python
    #39208659
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А кто нить в курсе, чем отличаются
pandas IO tools
и
API Reference
...
Рейтинг: 0 / 0
Hadoop with Python
    #39209760
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Станислав КлевцовА как же использование R для отображения красивых графиков :-)

Работа с графиками в R - это тихий ужас, там learning curve почти вертикальная. Питоновская matplotlib гораздо понятнее.

Станислав КлевцовПо поводу применения R знаете что - нибудь ?
Что именно? Тема очень обширная. R применяется много где.
Если сравнивать R и Python, из своего скромного опыта могу сказать следующее:
- производительность по сравнению с питоном ниже
- количество библиотек и реализаций тех или иных алгоритмов сильно больше
- предыдущий пункт пораждает проблему выбора и несовместимости разных реализаций, например, один только временных рядов я насчитал штук пять, причем все они в той или иной степени не взимозаменяемы в разных ситуациях
- создатель pandas явно вдохновлялся dataframe из R
- в целом R более популярен среди статистов и в академической среде
- R функциональный язык

мигель1А кто нить в курсе, чем отличаются
pandas IO tools
и
API Reference
Не очень понятен вопрос.
pandas IO tools это API Pandas для работы с внешними источниками данных. Т.е. чтоб не парсить например csv файл самостоятельно и потом не загружать его содержимое в DataFrame Pandas, можно взять готовую реализацию из pandas IO tools.
API Reference - это в переводе с английского справочник по API. Что имеется в виду?
...
Рейтинг: 0 / 0
Hadoop with Python
    #39210122
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Apex,

Вообщем у меня такая задумка.

Есть API HDFStore: PyTables (HDF5)

Я беру csv файлик в (5 ГБ )

read_csv потом to_hdf , обсчитываю и to_sql
...
Рейтинг: 0 / 0
Hadoop with Python
    #39210723
Фотография Станислав Клевцов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexСтанислав КлевцовА как же использование R для отображения красивых графиков :-)

Работа с графиками в R - это тихий ужас, там learning curve почти вертикальная. Питоновская matplotlib гораздо понятнее.

Станислав КлевцовПо поводу применения R знаете что - нибудь ?
Что именно? Тема очень обширная. R применяется много где.
Если сравнивать R и Python, из своего скромного опыта могу сказать следующее:
- производительность по сравнению с питоном ниже
- количество библиотек и реализаций тех или иных алгоритмов сильно больше
- предыдущий пункт пораждает проблему выбора и несовместимости разных реализаций, например, один только временных рядов я насчитал штук пять, причем все они в той или иной степени не взимозаменяемы в разных ситуациях
- создатель pandas явно вдохновлялся dataframe из R
- в целом R более популярен среди статистов и в академической среде
- R функциональный язык

мигель1А кто нить в курсе, чем отличаются
pandas IO tools
и
API Reference
Не очень понятен вопрос.
pandas IO tools это API Pandas для работы с внешними источниками данных. Т.е. чтоб не парсить например csv файл самостоятельно и потом не загружать его содержимое в DataFrame Pandas, можно взять готовую реализацию из pandas IO tools.
API Reference - это в переводе с английского справочник по API. Что имеется в виду?
Спасибо за ответ !)
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop with Python
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]