powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Вышла версия 13.3 SciDB
8 сообщений из 8, страница 1 из 1
Вышла версия 13.3 SciDB
    #38223617
SciDB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
SciDB - MPP аналитическая система для Больших Данных
Модель данных - многомерные массивы (каждая ячейка массива - реляционная запись)
Поддерживается язык AQL (Array Query Language) - очень похож на SQL

Новые возможности:
- SciDB-R пакет - интергация с языком R, анализ данных на больших объемах прямо из среды R
- Интергирован пакет масштабируемой линейной алгебры ScaLAPACK
- JDBC интерфейс
- удобный инстаояционный скрип для кластерного внедрения

www.scidb.org

Помимо бесплатной версии, есть коммерческая версия продукта с дополнительными возможностями (мониторинг, дополнительные алгоритмы анализа данных) и поддержкой (включая разработку аналитических систем на базе технологии).

Большая часть разработчиков SciDB - русские программисты, поэтому мы можем выполнять внедрения и поддержку решений на самом высоком уровне.
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38226464
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет.

Насколько полно реализован JDBC интерфейс, хватит его чтобы управлять загрузкой данных в БД и выполнять полноценные запросы на получение результатов над хранимыми данными ?
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38226563
SciDB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ASCRUS,

JDBC сделан с упором на запросы, реализован пока без prepared statement, то есть нельзя создать параметризированный запрос и гнать данные в SciDB через JDBC. Можно запросами закидывать данные:

insert into ... select ... from array(schema, '[data]')

где data - текстовый формат хранения данных SciDB.

Но мы рекомендуем заливать данные на сервер с SciDB и оттуда грузить родным загрузчиком.
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38226653
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну это то понятно. Я имел ввиду аналог copy from local оператора Vertica. Кстати на его основе в Vertica сделан и prepared statement в jdbc - дрова просто организуют передачу данных в потоке командой copy from stdin, а клиент скармливает порции insert через prepared statement и все довольны. Почитайте в документации Vertica, очень грамотно сделано. Тем более я так понимаю фамилия основателя Vertica близка вашей субд :)

PS мне ваш сервер очень интересен и как разработчику etl проекта и как архитектору хд и еще есть пара интересных мыслей. Наверное более плотные вопросы легче будет по личке обсудить.
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38227472
SciDB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо, хорошее предложение! Думаю стоит в перспективе такую штуку сделать.
Пока просто руки не доходят.

С удовольствием ответим на вопросы, можно в личку, можно на форуме.
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38231413
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пытался понять, но так и не осилил,... как реализовано восстановление после сбоев в процессе загрузки, например, по питанию?
...
Рейтинг: 0 / 0
Вышла версия 13.3 SciDB
    #38231772
SciDB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сергей,

Пока мы не обрабатываем сбои во времы загрузки, только сбои во время запросов на чтение. Решение по сбою во время загрузки будет, но грубое: будем выкидывать всю последнюю версию.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Вышла версия 13.3 SciDB
    #38948239
YurySirota
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
SciDB,
Мне интересен этот продукт, применение R в Биг Дата. Хотел бы с Вами пообщаться:
YurySirotaSKYPE
YurySirotaReg@gmail.com

Юрий
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Вышла версия 13.3 SciDB
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]