powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / HP Vertica + Apache Kafka: простейший способ
4 сообщений из 4, страница 1 из 1
HP Vertica + Apache Kafka: простейший способ
    #39238807
iPOJO
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Пробую наполнять таблицу в Vertica из Kafka, используя COPY.
Выполняю следующие действия:
1) Запускаю Kafka на том же хосте, что узел Vertica:
Код: plaintext
1.
2.
#bin/zookeeper-server-start.sh config/zookeeper.properties
#bin/kafka-server-start.sh config/server.properties

2) Создаю Kafka-topic
Код: plaintext
1.
#bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic

3) В базе данных HP Vertica создаю таблицу:
Код: sql
1.
2.
3.
CREATE TABLE mytable (
  id varchar(80)
);

4) Запускаю Kafka Producer и отправляю в topic JSON:

Код: plaintext
1.
2.
#bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic
{"id": "12"}
5) Делаю команду COPY для импорта kafka-фрейма в таблицу
Код: sql
1.
2.
3.
COPY public.mytable SOURCE KafkaSource (stream='mytopic|1|1', brokers='localhost:9092', stop_on_eof=TRUE) 
PARSER KafkaJSONParser(flatten_arrays=False, flatten_maps=False) 
REJECTED DATA AS TABLE public.mytable_rej TRICKLE;


В результате получаю ответ:
Код: plaintext
1.
2.
3.
4.
 Rows Loaded
-------------
           0
(1 row)
Запись не добавляется.
Как выглядят правильные JSON и COPY для этой задачи?
...
Рейтинг: 0 / 0
HP Vertica + Apache Kafka: простейший способ
    #39238832
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iPOJO,

Так а до кафки сообщение дошло, что возвращает?
Код: powershell
1.
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-begin
...
Рейтинг: 0 / 0
HP Vertica + Apache Kafka: простейший способ
    #39238840
iPOJO
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
haXbat, да, дошло, возвращает этот JSON
...
Рейтинг: 0 / 0
HP Vertica + Apache Kafka: простейший способ
    #39241244
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет, а у Вертики шедулер запустили ?
Код: plaintext
/opt/vertica/packages/kafka/bin/vkconfig scheduler --add

Using Kafka with Vertica
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / HP Vertica + Apache Kafka: простейший способ
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]