powered by simpleCommunicator - 2.0.54     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / ClickHouse from yandex
25 сообщений из 52, страница 2 из 3
ClickHouse from yandex
    #39334741
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DB::Exception: Type mismatch for column id. Column has type UInt64, got type UInt16.

Правильно ли я понимаю, что перед вставкой каждое значение нужно оборачивать функцией ToUInt64 ?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348271
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Боже! Кликхаус это супер система, его чуть допилить и будет бомба ))
Пользователи в шоке от скорости ))
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348320
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1мигель1,

Боже! Кликхаус это супер система, его чуть допилить и будет бомба ))
Пользователи в шоке от скорости ))

Ещё б удалять данные научилась :D
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348331
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса?
З.Ы. сокращение "клик" закрепилось за qlikview, clickhouse остаётся "хаус"?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348346
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаКто какие тулы использует (планирует) для построения отчётности (регламентная, аналитическая) из кликхауса?

Можно прикрутить Excel к любой DB , были бы руки и спонсор )
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348350
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominЕщё б удалять данные научилась :D

BigTable тоже без удаления живет себе (вполне) )
- создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте .
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348514
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruAlexey TominЕщё б удалять данные научилась :D

BigTable тоже без удаления живет себе (вполне) )
- создавайте новый таблицы, меняйте витрину - view , в конце периода процессьте новую историческую таблицу. старые таблицы дропайте .

Данных- сотни миллионов строк каждый день. Отчёты строятся по последним месяцу-двум.
Каждый день надо залить новые сотни строк, а старые надо вынести.
Как это сделать лучше всего?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348572
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКак это сделать лучше всего?
грануляция таблиц по изменяемым периодам
старые drop
новые create
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39348599
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКак это сделать лучше всего?
https://telegram.me/clickhouse_ru
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354170
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
удаление обещали сделать.
а как жить без циклов, процедур и временных таблиц (в рамках сессии)?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354418
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruAlexey TominКак это сделать лучше всего?
https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354470
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаessbase.ruпропущено...

https://telegram.me/clickhouse_ru а для тех у кого нет "телеграма", можно продублировать?

Не нашли ответа, по сути.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354528
er77
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alexey TominДедушкапропущено...
а для тех у кого нет "телеграма", можно продублировать?

Не нашли ответа, по сути.

sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354834
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
er77Alexey Tominпропущено...


Не нашли ответа, по сути.

sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .

Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354902
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Tominer77пропущено...


sim2 что то писал о truncate таблиц и проблема решается двумя таблицами и VIEw над ними
- исторические данные
- текущие


Текущую таблицу очищайте после того как есть свежие данные .

Данные заливаются ежедневно. Историчность- 60 дней. Т.е. надо 60 таблиц и вью над ними? Нафиг.
двумя же, написано же

https://en.wikipedia.org/wiki/Slowly_changing_dimension#Type_4:_add_history_table
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39354947
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominНафиг.

А Вы все таки попробуйте "ТыкДом" . Это тяжелые наркотики . После него все остальное кажется детским садом)

И ради 3Gb/s на одном хосте , можно потерпеть небольшие неудобства.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39366614
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня ETL pentaho и для вертики и для кликхауса
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39369018
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть приложение на asp.net
Подскажите пожалуйста, как лучше подключиться к clickhouse?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39369237
Roman Kolchin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
мигель1,

Попробуйте написать в чатик КХ в Телеграме https://telegram.me/clickhouse_ru
Все кто более-менее в теме, там активно общаются.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39412945
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Летом сделают поддержку ODBC драйвера и перепишут синтаксис, чтобы не мучиться с join
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39506553
ZugDuk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А как в это инфо по монеткам криптовалютным заливать? Что такое колонки?

Монетка - это таблица? Или торговая пара? А колонки что такое? А строк нету?


Я на жопа скрипт прогу пишу. Или таблица - это биржа???? Бирж 10 штук примерно. Монеток 500.
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507186
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я правильно понял, что в базе такие сущности:

База
Таблица
Столбец
?

А кроме этого, что еще есть?
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507191
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zugduker,

в доке жеж всё написано тут
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507199
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну вообще на русском есть
https://clickhouse.yandex/docs/ru/single/

Там база по умолчанию default. А под каждые данные создается таблица

Выполните следующие запросы к ClickHouse:

CREATE TABLE rankings_tiny
(
pageURL String,
pageRank UInt32,
avgDuration UInt32
) ENGINE = Log;

CREATE TABLE uservisits_tiny
(
sourceIP String,
destinationURL String,
visitDate Date,
adRevenue Float32,
UserAgent String,
cCode FixedString(3),
lCode FixedString(6),
searchWord String,
duration UInt32
) ENGINE = MergeTree(visitDate, visitDate, 8192);

CREATE TABLE rankings_1node
(
pageURL String,
pageRank UInt32,
avgDuration UInt32
) ENGINE = Log;


Чего то это какая то муть. Мне то что делать? У меня данные вот:


trades

Метод возвращает информацию о последних сделках указанных пар.

GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000).

Пример запроса: https://yobit.net/api/3/trades/ltc_btc

Пример ответа:

{
"ltc_btc":[
{
"type":"ask",
"price":104.2,
"amount":0.101,
"tid":41234426,
"timestamp":1418654531
},
{
"type":"bid",
"price":103.53,
"amount":1.51414,
"tid":41234422,
"timestamp":1418654530
},
...
]
...
}

type: ask - продажа, bid - покупка
price: цена покупки/продажи
amount: количество
tid: идентификатор сделки
timestamp: unix time сделки



depth

Метод возвращает информацию о списках активных ордеров указанных пар.

GET-параметр limit задаёт глубину для вывода (по умолчанию 150, максимум 2000).

Пример запроса: https://yobit.net/api/3/depth/ltc_btc

Пример ответа:

{
"ltc_btc":{
"asks":[
[104.67,0.01],
[104.75,11],
[104.80,0.523],
...
],
"bids":[
[104.3,5.368783],
[104.212,2.57357],
[103.62,0.43663336],
[103.61,0.7255672],
...
]
}
...
}

asks: ордера на продажу
bids: ордера на покупку



КАК МНЕ ЭТО В БАЗУ ТО ЗАСОВЫВАТЬ ???

Я уже поставил модули кликхаус для ноды JS

Вот пример запроса к базе

const ClickHouseClient = require('clickhouse_client');

let clickhouseClient = new ClickHouseClient({
host: "localhost",
port: 8123,
dbname: "default"
});
//SELECT * FROM table_name LIMIT 10
clickhouseClient.find(' SELECT 1 ', (err, data) => {
if (err) {
return console.log(err);
}

console.log({data});
});


И как я такими запросами как то должен инфо с биржи в базу засовывать???
...
Рейтинг: 0 / 0
ClickHouse from yandex
    #39507204
Zugduker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блин, ну опытным же людям, сразу видно как лучше организовывать. Ну что не подсказать что ли ????? Пример данных же я показал выше!!!

Ну не шарю я что такое все эти таблицы, колонки. Это что то из школы? Я думал в компе 0 1 и файлы на диске. А что такое база вообще ??? Я знаю, что должен использовать для своей задачи базу, ну так принято потому что. Но зачем, почему и КАК, ну НЕ ЗНАЮ я пока !!!! Откуда мне это знать то ???? Вот опытным людям СРАЗУ понятно, что и как.
...
Рейтинг: 0 / 0
25 сообщений из 52, страница 2 из 3
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / ClickHouse from yandex
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]