|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Кто юзал уже? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.06.2016, 15:40 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Яндекс юзал ... |
|||
:
Нравится:
Не нравится:
|
|||
20.06.2016, 18:57 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
stop, да вы человек очевидность, однако! ... |
|||
:
Нравится:
Не нравится:
|
|||
20.06.2016, 23:10 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
mishanya3624однако! на прошлой неделе был публичный релиз.. а Вы уже ищите внедрение ? ах-ах ... |
|||
:
Нравится:
Не нравится:
|
|||
21.06.2016, 13:48 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
mishanya3624Кто юзал уже? 19296218 ... |
|||
:
Нравится:
Не нравится:
|
|||
21.06.2016, 13:52 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Я хочу с разрабами их пообщаться. Понять, куда они планируют двигаться и каким образом. Хотим 5 июля провести свою частную сходку архитекторов по вопросам BigData на тематику применения MPP РСУБД vs Hadoop/NoSQL в плане, где их точно не надо использовать. Вот сейчас определяемся с местом и хотим Яндексовцев пригласить. Народ как раз будет прожженный, кто и с реляционками плотно так работал на больших объемах и кто всякие Mongo-Хадупы замучивал. Если придут в гости, скучно не будет, но думаю полезно будет всем :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 01:51 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
ASCRUSЯ хочу с разрабами их пообщаться Это желание как то оформлено в действия ? IMHO разрабы оставили достаточно каналов для коммуникаций. Придумать новый , для чего? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 12:09 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
essbase.ruASCRUSЯ хочу с разрабами их пообщаться Это желание как то оформлено в действия ? IMHO разрабы оставили достаточно каналов для коммуникаций. Придумать новый , для чего? Почему новый. У нас в рамках мероприятия как раз речь будет идти по BigData технологиям. Участники и выступающие - это люди, которые не один год кушают это ложками и имеют богатый опыт. Яндекс заявил себя на рынке Бигдата как игрок, нам интересно пообщаться с ними и для себя и своей аудитории оценить, насколько его технологии готовы выйти в широкий свет :) Это более простой способ, чем качать их ПО и "что то на нем делать". Ни у кого на это времени и ресурсов просто так нет, а эффективно оценить продукт, работающий с большими данными просто скачав и запустив примеры, точно не получится. Ну и обратный бакграунд для самого Яндекса будет неплохой, оценят реакцию потенциальных партнеров и клиентов, увидят, что реально интересует пользователей. С учетом того, что ПО применялось только рамках одной компании, явно такое общение будет полезным для них так же. А Вы что предлагаете? Чтобы я написал разрабам и попросил ответным письмом написать, что у них плохо и где пробелы? Или взял их ПО и провел дорогостоящее по времени функциональное и нагрузочное тестирование, разработав под это подходящие задачи, сгенерировав в тб объемы данных и взяв под это где то мощное железо, даже без понимания, насколько затраты на это могут быть окуплены моими ожиданиями? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 12:51 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
ASCRUSНу и обратный бакграунд для самого Яндекса будет неплохой, оценят реакцию потенциальных партнеров и клиентов, увидят, что реально интересует пользователей.сильно сомневаюсь, что Яндекс это особо интересует... движок делали под себя и конкретные задачи, в опенсорс выложили, чтобы быть "не хуже гугла". дальнейшее развитие будет зависеть исключительно от комьюнити. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 13:05 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
ASCRUSнас в рамках мероприятия как раз речь будет идти по BigData технологиям. о чем идет речь ? где когда кто сколько ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 14:37 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Дедушка, чтобы быть "не хуже гугла". вот если бы "Я" на этом сделал бы облако , то да .. это было бы мощно .. а так действительно , код без развития начинает протухать с первого дня релиза и чем дальше тем быстрее идет процесс разложения ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 14:42 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
essbase.ruASCRUSнас в рамках мероприятия как раз речь будет идти по BigData технологиям. о чем идет речь ? где когда кто сколько http://easydata.ru/architect2016/ Если есть желание присоединится, можно на ФБ кинуть мне ссылку на профиль, я на мероприятие тогда приглашение вышлю. Ошиблись, сделали его закрытым, выяснилось что в ФБ потом закрытое мероприятие на открытое уже не поменять, получилось "только для своих" и "кто услышал" :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.06.2016, 16:09 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Никто не знает можно-ли разбить ClickHouse на шарды? Подробный вопрос на стековерфлоу http://stackoverflow.com/questions/39687515/is-it-possible-to-partition-yandex-clickhouse-database ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2016, 16:49 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
privateНикто не знает можно-ли разбить ClickHouse на шарды? Подробный вопрос на стековерфлоу http://stackoverflow.com/questions/39687515/is-it-possible-to-partition-yandex-clickhouse-database По ссылке не открывается. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2016, 12:15 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Спросил у знакомого: Если вкратце, то там не надо разбивать, оно само. Грубо говоря, каждая нода по дефолту -- это отдельный шард. И надо специальные усилия прикладывать, чтобы делать синхронизацию или запросы поверх всех шардов все это подробно есть в документации Так что Вам в документацию :) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2016, 12:24 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
ASCRUSПо ссылке не открывается.Потому что This question was voluntarily removed by its author.Но гугл всё помнит . ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2016, 12:34 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Спасибо за ответ. Забыл обновить здесь. Да КликХаус может это. Я в документации нашел. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2016, 16:42 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Кстати, недавно появился близнец КликХауза, https://eventql.io Архитектурно вроде оба очень похожи, интересно никто не делал бенчмарки: - скорости выполения запросов? - размера базы, где меньше? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2016, 16:44 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
private, выглядит интереснее - так как есть коммерческая поддержка - а не просто "кошка бросила котят - пусть ... как хотят " ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2016, 17:13 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
и документация у них в порядке - нет лишних фич, который залипли как артефакты прошлых идей и разработок ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2016, 17:17 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
essbase.ru, я хотел пойти, но там доку надо заполнять чуть ли не на визу ) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.09.2016, 13:47 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
мигель1я хотел пойти, но там доку надо заполнять чуть ли не на визу ) заняло 2 минуты ... |
|||
:
Нравится:
Не нравится:
|
|||
28.09.2016, 14:51 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Как прошла конференция? update /delete запилили? odbc драйвер сделали? конструкция работает типа? declare @Cdate = cast(getdate() as date) select * from T1 where date =@Cdate шедуллер есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2016, 00:12 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
мигель1, Наверное всю жизнь до этого момента вы рбщались с прорицателями и оракулами. Но блин вот сейчас Вам не повезло. Я не смог предугадать что тут Вас есть вопросы и что они ждут ответов. help your self ) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2016, 12:19 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
DB::Exception: Type mismatch for column id. Column has type UInt64, got type UInt16. Правильно ли я понимаю, что перед вставкой каждое значение нужно оборачивать функцией ToUInt64 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2016, 18:54 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
мигель1, Боже! Кликхаус это супер система, его чуть допилить и будет бомба )) Пользователи в шоке от скорости )) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 12:08 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
мигель1мигель1, Боже! Кликхаус это супер система, его чуть допилить и будет бомба )) Пользователи в шоке от скорости )) Ещё б удалять данные научилась :D ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 13:10 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Кто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса? З.Ы. сокращение "клик" закрепилось за qlikview, clickhouse остаётся "хаус"? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 13:19 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
ДедушкаКто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса? Можно прикрутить Excel к любой DB , были бы руки и спонсор ) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 13:32 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey TominЕщё б удалять данные научилась :D BigTable тоже без удаления живет себе (вполне) ) - создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте . ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 13:36 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
essbase.ruAlexey TominЕщё б удалять данные научилась :D BigTable тоже без удаления живет себе (вполне) ) - создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте . Данных- сотни миллионов строк каждый день. Отчёты строятся по последним месяцу-двум. Каждый день надо залить новые сотни строк, а старые надо вынести. Как это сделать лучше всего? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 15:50 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey TominКак это сделать лучше всего? грануляция таблиц по изменяемым периодам старые drop новые create ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 16:49 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey TominКак это сделать лучше всего? https://telegram.me/clickhouse_ru ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2016, 17:25 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
удаление обещали сделать. а как жить без циклов, процедур и временных таблиц (в рамках сессии)? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2016, 23:57 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
essbase.ruAlexey TominКак это сделать лучше всего? https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2016, 11:27 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Дедушкаessbase.ruпропущено... https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать? Не нашли ответа, по сути. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2016, 12:08 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey TominДедушкапропущено... а для тех у кого нет "телеграма", можно продублировать? Не нашли ответа, по сути. sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними - исторические данные - текущие Текущую таблицу очищайте после того как есть свежие данные . ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2016, 12:58 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
er77Alexey Tominпропущено... Не нашли ответа, по сути. sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними - исторические данные - текущие Текущую таблицу очищайте после того как есть свежие данные . Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2016, 19:56 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey Tominer77пропущено... sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними - исторические данные - текущие Текущую таблицу очищайте после того как есть свежие данные . Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг. двумя же, написано же https://en.wikipedia.org/wiki/Slowly_changing_dimension#Type_4:_add_history_table ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2016, 01:03 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Alexey TominНафиг. А Вы все таки попробуйте "ТыкДом" . Это тяжелые наркотики . После него все остальное кажется детским садом) И ради 3Gb/s на одном хосте , можно потерпеть небольшие неудобства. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2016, 10:31 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
У меня ETL pentaho и для вертики и для кликхауса ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2016, 12:24 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Есть приложение на asp.net Подскажите пожалуйста, как лучше подключиться к clickhouse? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2016, 21:31 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
мигель1, Попробуйте написать в чатик КХ в Телеграме https://telegram.me/clickhouse_ru Все кто более-менее в теме, там активно общаются. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2016, 14:15 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Летом сделают поддержку ODBC драйвера и перепишут синтаксис, чтобы не мучиться с join ... |
|||
:
Нравится:
Не нравится:
|
|||
02.03.2017, 09:27 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
А как в это инфо по монеткам криптовалютным заливать? Что такое колонки? Монетка - это таблица? Или торговая пара? А колонки что такое? А строк нету? Я на жопа скрипт прогу пишу. Или таблица - это биржа???? Бирж 10 штук примерно. Монеток 500. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2017, 19:31 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Я правильно понял, что в базе такие сущности: База Таблица Столбец ? А кроме этого, что еще есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2017, 20:53 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Ну вообще на русском есть https://clickhouse.yandex/docs/ru/single/ Там база по умолчанию default. А под каждые данные создается таблица Выполните следующие запросы к ClickHouse: CREATE TABLE rankings_tiny ( pageURL String, pageRank UInt32, avgDuration UInt32 ) ENGINE = Log; CREATE TABLE uservisits_tiny ( sourceIP String, destinationURL String, visitDate Date, adRevenue Float32, UserAgent String, cCode FixedString(3), lCode FixedString(6), searchWord String, duration UInt32 ) ENGINE = MergeTree(visitDate, visitDate, 8192); CREATE TABLE rankings_1node ( pageURL String, pageRank UInt32, avgDuration UInt32 ) ENGINE = Log; Чего то это какая то муть. Мне то что делать? У меня данные вот: trades Метод возвращает информацию о последних сделках указанных пар. GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000). Пример запроса: https://yobit.net/api/3/trades/ltc_btc Пример ответа: { "ltc_btc":[ { "type":"ask", "price":104.2, "amount":0.101, "tid":41234426, "timestamp":1418654531 }, { "type":"bid", "price":103.53, "amount":1.51414, "tid":41234422, "timestamp":1418654530 }, ... ] ... } type: ask - продажа, bid - покупка price: цена покупки/продажи amount: количество tid: идентификатор сделки timestamp: unix time сделки depth Метод возвращает информацию о списках активных ордеров указанных пар. GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000). Пример запроса: https://yobit.net/api/3/depth/ltc_btc Пример ответа: { "ltc_btc":{ "asks":[ [104.67,0.01], [104.75,11], [104.80,0.523], ... ], "bids":[ [104.3,5.368783], [104.212,2.57357], [103.62,0.43663336], [103.61,0.7255672], ... ] } ... } asks: ордера на продажу bids: ордера на покупку КАК МНЕ ЭТО В БАЗУ ТО ЗАСОВЫВАТЬ ??? Я уже поставил модули кликхаус для ноды JS Вот пример запроса к базе const ClickHouseClient = require('clickhouse_client'); let clickhouseClient = new ClickHouseClient({ host: "localhost", port: 8123, dbname: "default" }); //SELECT * FROM table_name LIMIT 10 clickhouseClient.find(' SELECT 1 ', (err, data) => { if (err) { return console.log(err); } console.log({data}); }); И как я такими запросами как то должен инфо с биржи в базу засовывать??? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2017, 21:40 |
|
ClickHouse from yandex
|
|||
---|---|---|---|
#18+
Блин, ну опытным же людям, сразу видно как лучше организовывать. Ну что не подсказать что ли ????? Пример данных же я показал выше!!! Ну не шарю я что такое все эти таблицы, колонки. Это что то из школы? Я думал в компе 0 1 и файлы на диске. А что такое база вообще ??? Я знаю, что должен использовать для своей задачи базу, ну так принято потому что. Но зачем, почему и КАК, ну НЕ ЗНАЮ я пока !!!! Откуда мне это знать то ???? Вот опытным людям СРАЗУ понятно, что и как. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2017, 22:01 |
|
|
start [/forum/topic.php?all=1&fid=48&tid=1856669]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
43ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
72ms |
get tp. blocked users: |
2ms |
others: | 12ms |
total: | 174ms |
0 / 0 |