powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Hadoop: общие вопросы
6 сообщений из 6, страница 1 из 1
Hadoop: общие вопросы
    #39056705
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день.

Закончились активности в старых проектах и выдалась пауза. Я могу почитать что-то новое.

В продолжение топиков

http://www.sql.ru/forum/1018415/vyvod-peremennyh-hadoop-programmy-c-pomoshhu-log4j?hl=hadoop
http://www.sql.ru/forum/1091827/kto-hadoop-ispolzuet-skazhite-chto-vy-na-nem-schitaete?hl=hadoop
http://www.sql.ru/forum/1018394/oshibka-dostupa-pri-kompilyacii-hadoop-programmy?hl=hadoop

Прикупил книгу Том Уайт - Hadoop. Подробное руководство. . В первых главах (Глава 2 - Мap Reduce)
Том ссылается на сайт Нац. центра климатических данных http://www.ndc.noaa.gov/

Буквально
Данные хранятся в строчно ориентированном ASCIIZ формате в котором каждая строка
соответствует одной записи. Формат поддерживает различные метеорологические элементы...


Кто нибудь из коллег нашёл эти текстовые данные по погодной метрологии? Я пока нет. И вобщем-то сайт
имеет title "National Oceanic & Atmosphere Administration..." а это немного отличается от сабж.
...
Рейтинг: 0 / 0
Hadoop: общие вопросы
    #39056793
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нашёл фтп-шничек ftp://ftp.ncdc.noaa.gov/pub/ может это правильный адрес?
...
Рейтинг: 0 / 0
Hadoop: общие вопросы
    #39207019
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Java 8. Будет-ли поддержка для Hadoop?

http://wiki.apache.org/hadoop/HadoopJavaVersions

Существует ли фикс для permissions bug, возникающий в стандартном тюториале
при доступе к tmp каталогу?

Код: java
1.
2.
3.
4.
5.
6.
2016-04-03 22:55:24,646 TRACE [main] white.MaxTemperature (MaxTemperature.java:28) - entry
апр 03, 2016 10:55:25 PM org.apache.hadoop.util.NativeCodeLoader <clinit>
WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
апр 03, 2016 10:55:25 PM org.apache.hadoop.security.UserGroupInformation doAs
SEVERE: PriviledgedActionException as:mayton cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-mayton\mapred\staging\mayton1499290033\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-mayton\mapred\staging\mayton1499290033\.staging to 0700
...
Рейтинг: 0 / 0
Hadoop: общие вопросы
    #39207138
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНашёл фтп-шничек ftp://ftp.ncdc.noaa.gov/pub/ может это правильный адрес? http://www1.ncdc.noaa.gov/pub/data/cdo/samples/ANNUAL_sample_ascii.dat

Но, кажется, там примеры урезаны
...
Рейтинг: 0 / 0
Hadoop: общие вопросы
    #39207143
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
скорее всего это: с разбивкой по месяцам - http://www.ncdc.noaa.gov/orders/qclcd/
...
Рейтинг: 0 / 0
Hadoop: общие вопросы
    #39207339
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Usman, спасибо. Качаю.
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Hadoop: общие вопросы
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]