powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / ClickHouse from yandex
52 сообщений из 52, показаны все 3 страниц
ClickHouse from yandex
    #39258947
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто юзал уже?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39259149
stop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Яндекс юзал
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39259237
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stop,

да вы человек очевидность, однако!
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39259607
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624однако!
на прошлой неделе был публичный релиз.. а Вы уже ищите внедрение ?
ах-ах
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39259611
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624Кто юзал уже? 19296218
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39260876
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я хочу с разрабами их пообщаться. Понять, куда они планируют двигаться и каким образом. Хотим 5 июля провести свою частную сходку архитекторов по вопросам BigData на тематику применения MPP РСУБД vs Hadoop/NoSQL в плане, где их точно не надо использовать. Вот сейчас определяемся с местом и хотим Яндексовцев пригласить. Народ как раз будет прожженный, кто и с реляционками плотно так работал на больших объемах и кто всякие Mongo-Хадупы замучивал. Если придут в гости, скучно не будет, но думаю полезно будет всем :)
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39260910
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSЯ хочу с разрабами их пообщаться
Это желание как то оформлено в действия ?

IMHO разрабы оставили достаточно каналов для коммуникаций. Придумать новый , для чего?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39260944
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruASCRUSЯ хочу с разрабами их пообщаться
Это желание как то оформлено в действия ?

IMHO разрабы оставили достаточно каналов для коммуникаций. Придумать новый , для чего?
Почему новый. У нас в рамках мероприятия как раз речь будет идти по BigData технологиям. Участники и выступающие - это люди, которые не один год кушают это ложками и имеют богатый опыт. Яндекс заявил себя на рынке Бигдата как игрок, нам интересно пообщаться с ними и для себя и своей аудитории оценить, насколько его технологии готовы выйти в широкий свет :) Это более простой способ, чем качать их ПО и "что то на нем делать". Ни у кого на это времени и ресурсов просто так нет, а эффективно оценить продукт, работающий с большими данными просто скачав и запустив примеры, точно не получится. Ну и обратный бакграунд для самого Яндекса будет неплохой, оценят реакцию потенциальных партнеров и клиентов, увидят, что реально интересует пользователей. С учетом того, что ПО применялось только рамках одной компании, явно такое общение будет полезным для них так же.

А Вы что предлагаете? Чтобы я написал разрабам и попросил ответным письмом написать, что у них плохо и где пробелы? Или взял их ПО и провел дорогостоящее по времени функциональное и нагрузочное тестирование, разработав под это подходящие задачи, сгенерировав в тб объемы данных и взяв под это где то мощное железо, даже без понимания, насколько затраты на это могут быть окуплены моими ожиданиями? :)
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39260957
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSНу и обратный бакграунд для самого Яндекса будет неплохой, оценят реакцию потенциальных партнеров и клиентов, увидят, что реально интересует пользователей.сильно сомневаюсь, что Яндекс это особо интересует...
движок делали под себя и конкретные задачи, в опенсорс выложили, чтобы быть "не хуже гугла".
дальнейшее развитие будет зависеть исключительно от комьюнити.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39261028
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSнас в рамках мероприятия как раз речь будет идти по BigData технологиям.

о чем идет речь ? где когда кто сколько
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39261033
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушка, чтобы быть "не хуже гугла".
вот если бы "Я" на этом сделал бы облако , то да .. это было бы мощно .. а так действительно , код без развития начинает протухать с первого дня релиза и чем дальше тем быстрее идет процесс разложения
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39261133
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruASCRUSнас в рамках мероприятия как раз речь будет идти по BigData технологиям.

о чем идет речь ? где когда кто сколько
http://easydata.ru/architect2016/

Если есть желание присоединится, можно на ФБ кинуть мне ссылку на профиль, я на мероприятие тогда приглашение вышлю. Ошиблись, сделали его закрытым, выяснилось что в ФБ потом закрытое мероприятие на открытое уже не поменять, получилось "только для своих" и "кто услышал" :)
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39315138
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Никто не знает можно-ли разбить ClickHouse на шарды?

Подробный вопрос на стековерфлоу http://stackoverflow.com/questions/39687515/is-it-possible-to-partition-yandex-clickhouse-database
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39315497
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
privateНикто не знает можно-ли разбить ClickHouse на шарды?

Подробный вопрос на стековерфлоу http://stackoverflow.com/questions/39687515/is-it-possible-to-partition-yandex-clickhouse-database
По ссылке не открывается.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39315510
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спросил у знакомого:
Если вкратце, то там не надо разбивать, оно само. Грубо говоря, каждая нода по дефолту -- это отдельный шард. И надо специальные усилия прикладывать, чтобы делать синхронизацию или запросы поверх всех шардов
все это подробно есть в документации

Так что Вам в документацию :)
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39315520
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSПо ссылке не открывается.Потому что This question was voluntarily removed by its author.Но гугл всё помнит .
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316361
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за ответ. Забыл обновить здесь. Да КликХаус может это. Я в документации нашел.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316364
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, недавно появился близнец КликХауза, https://eventql.io
Архитектурно вроде оба очень похожи, интересно никто не делал бенчмарки:
- скорости выполения запросов?
- размера базы, где меньше?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316397
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
private,

выглядит интереснее - так как есть коммерческая поддержка
- а не просто "кошка бросила котят - пусть ... как хотят "
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316402
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и документация у них в порядке - нет лишних фич, который залипли как артефакты прошлых идей и разработок
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316566
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316903
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ru,

я хотел пойти, но там доку надо заполнять чуть ли не на визу )
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39316983
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1я хотел пойти, но там доку надо заполнять чуть ли не на визу )
заняло 2 минуты
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39327666
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как прошла конференция?

update /delete запилили?
odbc драйвер сделали?

конструкция работает типа?

declare @Cdate = cast(getdate() as date)
select * from T1 where date =@Cdate

шедуллер есть?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39327733
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Наверное всю жизнь до этого момента вы рбщались с прорицателями и оракулами. Но блин вот сейчас Вам не повезло.

Я не смог предугадать что тут Вас есть вопросы и что они ждут ответов.

help your self )
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39334741
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DB::Exception: Type mismatch for column id. Column has type UInt64, got type UInt16.

Правильно ли я понимаю, что перед вставкой каждое значение нужно оборачивать функцией ToUInt64 ?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348271
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Боже! Кликхаус это супер система, его чуть допилить и будет бомба ))
Пользователи в шоке от скорости ))
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348320
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1мигель1,

Боже! Кликхаус это супер система, его чуть допилить и будет бомба ))
Пользователи в шоке от скорости ))

Ещё б удалять данные научилась :D
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348331
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса?
З.Ы. сокращение "клик" закрепилось за qlikview, clickhouse остаётся "хаус"?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348346
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаКто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса?

Можно прикрутить Excel к любой DB , были бы руки и спонсор )
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348350
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominЕщё б удалять данные научилась :D

BigTable тоже без удаления живет себе (вполне) )
- создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте .
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348514
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruAlexey TominЕщё б удалять данные научилась :D

BigTable тоже без удаления живет себе (вполне) )
- создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте .

Данных- сотни миллионов строк каждый день. Отчёты строятся по последним месяцу-двум.
Каждый день надо залить новые сотни строк, а старые надо вынести.
Как это сделать лучше всего?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348572
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКак это сделать лучше всего?
грануляция таблиц по изменяемым периодам
старые drop
новые create
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348599
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКак это сделать лучше всего?
https://telegram.me/clickhouse_ru
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354170
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
удаление обещали сделать.
а как жить без циклов, процедур и временных таблиц (в рамках сессии)?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354418
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruAlexey TominКак это сделать лучше всего?
https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354470
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаessbase.ruпропущено...

https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать?

Не нашли ответа, по сути.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354528
er77
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alexey TominДедушкапропущено...
а для тех у кого нет "телеграма", можно продублировать?

Не нашли ответа, по сути.

sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354834
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
er77Alexey Tominпропущено...


Не нашли ответа, по сути.

sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .

Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354902
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Tominer77пропущено...


sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .

Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг.
двумя же, написано же

https://en.wikipedia.org/wiki/Slowly_changing_dimension#Type_4:_add_history_table
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354947
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominНафиг.

А Вы все таки попробуйте "ТыкДом" . Это тяжелые наркотики . После него все остальное кажется детским садом)

И ради 3Gb/s на одном хосте , можно потерпеть небольшие неудобства.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39366614
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня ETL pentaho и для вертики и для кликхауса
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39369018
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть приложение на asp.net
Подскажите пожалуйста, как лучше подключиться к clickhouse?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39369237
Roman Kolchin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
мигель1,

Попробуйте написать в чатик КХ в Телеграме https://telegram.me/clickhouse_ru
Все кто более-менее в теме, там активно общаются.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39412945
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Летом сделают поддержку ODBC драйвера и перепишут синтаксис, чтобы не мучиться с join
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39506553
ZugDuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А как в это инфо по монеткам криптовалютным заливать? Что такое колонки?

Монетка - это таблица? Или торговая пара? А колонки что такое? А строк нету?


Я на жопа скрипт прогу пишу. Или таблица - это биржа???? Бирж 10 штук примерно. Монеток 500.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507186
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я правильно понял, что в базе такие сущности:

База
Таблица
Столбец
?

А кроме этого, что еще есть?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507191
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zugduker,

в доке жеж всё написано тут
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507199
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну вообще на русском есть
https://clickhouse.yandex/docs/ru/single/

Там база по умолчанию default. А под каждые данные создается таблица

Выполните следующие запросы к ClickHouse:

CREATE TABLE rankings_tiny
(
pageURL String,
pageRank UInt32,
avgDuration UInt32
) ENGINE = Log;

CREATE TABLE uservisits_tiny
(
sourceIP String,
destinationURL String,
visitDate Date,
adRevenue Float32,
UserAgent String,
cCode FixedString(3),
lCode FixedString(6),
searchWord String,
duration UInt32
) ENGINE = MergeTree(visitDate, visitDate, 8192);

CREATE TABLE rankings_1node
(
pageURL String,
pageRank UInt32,
avgDuration UInt32
) ENGINE = Log;


Чего то это какая то муть. Мне то что делать? У меня данные вот:


trades

Метод возвращает информацию о последних сделках указанных пар.

GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000).

Пример запроса: https://yobit.net/api/3/trades/ltc_btc

Пример ответа:

{
"ltc_btc":[
{
"type":"ask",
"price":104.2,
"amount":0.101,
"tid":41234426,
"timestamp":1418654531
},
{
"type":"bid",
"price":103.53,
"amount":1.51414,
"tid":41234422,
"timestamp":1418654530
},
...
]
...
}

type: ask - продажа, bid - покупка
price: цена покупки/продажи
amount: количество
tid: идентификатор сделки
timestamp: unix time сделки



depth

Метод возвращает информацию о списках активных ордеров указанных пар.

GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000).

Пример запроса: https://yobit.net/api/3/depth/ltc_btc

Пример ответа:

{
"ltc_btc":{
"asks":[
[104.67,0.01],
[104.75,11],
[104.80,0.523],
...
],
"bids":[
[104.3,5.368783],
[104.212,2.57357],
[103.62,0.43663336],
[103.61,0.7255672],
...
]
}
...
}

asks: ордера на продажу
bids: ордера на покупку



КАК МНЕ ЭТО В БАЗУ ТО ЗАСОВЫВАТЬ ???

Я уже поставил модули кликхаус для ноды JS

Вот пример запроса к базе

const ClickHouseClient = require('clickhouse_client');

let clickhouseClient = new ClickHouseClient({
host: "localhost",
port: 8123,
dbname: "default"
});
//SELECT * FROM table_name LIMIT 10
clickhouseClient.find(' SELECT 1 ', (err, data) => {
if (err) {
return console.log(err);
}

console.log({data});
});


И как я такими запросами как то должен инфо с биржи в базу засовывать???
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507204
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блин, ну опытным же людям, сразу видно как лучше организовывать. Ну что не подсказать что ли ????? Пример данных же я показал выше!!!

Ну не шарю я что такое все эти таблицы, колонки. Это что то из школы? Я думал в компе 0 1 и файлы на диске. А что такое база вообще ??? Я знаю, что должен использовать для своей задачи базу, ну так принято потому что. Но зачем, почему и КАК, ну НЕ ЗНАЮ я пока !!!! Откуда мне это знать то ???? Вот опытным людям СРАЗУ понятно, что и как.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507568
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
суки ((
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507620
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zugdukerсуки ((

начни c sql-ex.ru
...
Рейтинг: 0 / 0
52 сообщений из 52, показаны все 3 страниц
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / ClickHouse from yandex
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]