Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Вышла версия 13.3 SciDB / 8 сообщений из 8, страница 1 из 1
12.04.2013, 15:22
    #38223617
SciDB
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
SciDB - MPP аналитическая система для Больших Данных
Модель данных - многомерные массивы (каждая ячейка массива - реляционная запись)
Поддерживается язык AQL (Array Query Language) - очень похож на SQL

Новые возможности:
- SciDB-R пакет - интергация с языком R, анализ данных на больших объемах прямо из среды R
- Интергирован пакет масштабируемой линейной алгебры ScaLAPACK
- JDBC интерфейс
- удобный инстаояционный скрип для кластерного внедрения

www.scidb.org

Помимо бесплатной версии, есть коммерческая версия продукта с дополнительными возможностями (мониторинг, дополнительные алгоритмы анализа данных) и поддержкой (включая разработку аналитических систем на базе технологии).

Большая часть разработчиков SciDB - русские программисты, поэтому мы можем выполнять внедрения и поддержку решений на самом высоком уровне.
...
Рейтинг: 0 / 0
15.04.2013, 18:05
    #38226464
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
Привет.

Насколько полно реализован JDBC интерфейс, хватит его чтобы управлять загрузкой данных в БД и выполнять полноценные запросы на получение результатов над хранимыми данными ?
...
Рейтинг: 0 / 0
15.04.2013, 19:14
    #38226563
SciDB
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
ASCRUS,

JDBC сделан с упором на запросы, реализован пока без prepared statement, то есть нельзя создать параметризированный запрос и гнать данные в SciDB через JDBC. Можно запросами закидывать данные:

insert into ... select ... from array(schema, '[data]')

где data - текстовый формат хранения данных SciDB.

Но мы рекомендуем заливать данные на сервер с SciDB и оттуда грузить родным загрузчиком.
...
Рейтинг: 0 / 0
15.04.2013, 20:56
    #38226653
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
Ну это то понятно. Я имел ввиду аналог copy from local оператора Vertica. Кстати на его основе в Vertica сделан и prepared statement в jdbc - дрова просто организуют передачу данных в потоке командой copy from stdin, а клиент скармливает порции insert через prepared statement и все довольны. Почитайте в документации Vertica, очень грамотно сделано. Тем более я так понимаю фамилия основателя Vertica близка вашей субд :)

PS мне ваш сервер очень интересен и как разработчику etl проекта и как архитектору хд и еще есть пара интересных мыслей. Наверное более плотные вопросы легче будет по личке обсудить.
...
Рейтинг: 0 / 0
16.04.2013, 13:02
    #38227472
SciDB
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
Спасибо, хорошее предложение! Думаю стоит в перспективе такую штуку сделать.
Пока просто руки не доходят.

С удовольствием ответим на вопросы, можно в личку, можно на форуме.
...
Рейтинг: 0 / 0
18.04.2013, 17:42
    #38231413
Сергей Васкецов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
Пытался понять, но так и не осилил,... как реализовано восстановление после сбоев в процессе загрузки, например, по питанию?
...
Рейтинг: 0 / 0
18.04.2013, 22:59
    #38231772
SciDB
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
Сергей,

Пока мы не обрабатываем сбои во времы загрузки, только сбои во время запросов на чтение. Решение по сбою во время загрузки будет, но грубое: будем выкидывать всю последнюю версию.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
29.04.2015, 10:39
    #38948239
YurySirota
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вышла версия 13.3 SciDB
SciDB,
Мне интересен этот продукт, применение R в Биг Дата. Хотел бы с Вами пообщаться:
YurySirotaSKYPE
YurySirotaReg@gmail.com

Юрий
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Вышла версия 13.3 SciDB / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]