您可能熟悉Vertica Data Collector（DC），并使用其收集的细粒度信息来监视和优化Vertica部署。一个常见的挑战是，数据收集器只将该信息的一部分保留在内部DC表中，然后将其保存到日志文件中。

Apache Kafka非常适合移动大量的小信息。 Vertica管理控制台（MC）可以通过Kafka将DC数据移动到另一个Vertica实例。如果您不使用MC或无法为扩展的直流存储创建另一个专用的Vertica实例，则此文章将介绍如何将DC数据发布到Kafka。数据在Kafka之后，您可以直接从Kafka利用它，或者使用它来提供另一个可能监控所有系统的系统（而不仅仅是Vertica）。

数据采集器和管理控制台的扩展监控

Vertica管理控制台提供扩展监视功能，用于扩展Data Collector存储以及监视和分析历史数据。由于Vertica将信息写入Data Collector表，Vertica生成匹配的Kafka数据消息（每个表一个主题）。单独的Vertica实例消耗这些Kafka消息，并将它们存储在复制DC表的本地模式中。然后，这些扩展表可用于通过管理控制台或通过访问该额外的Vertica实例来查看和分析数据库性能。

如果您没有使用管理控制台，或者没有备用的Vertica实例来扩展DC存储，则仍然可以利用内置机制将DC表发布到Kafka。我们来探讨一下吧。

Vertica通知器(Notifiers)

Vertica通知器是一种内置的基于推送的机制，可将Vertica的消息发送到终点，如Kafka。 如果您不想使用管理控制台的扩展监视，或者没有其他Vertica实例用于扩展存储，请使用此机制。

使用CREATE NOTIFIER SQL语句创建通知程序。 例如，以下语句创建一个名为my_notifier的通知程序。

• ACTION参数标识目标Kafka代理。

• MAXMEMORYSIZE参数定义通知队列的大小。

• IDENTIFIED BY参数是通知程序的唯一标识符。 如果设置，此通知程序发布的所有消息将包含此属性。

在此语句中，通知程序将数据发布到运行在127.0.0.1和端口9092上的Kafka代理，通知队列大小为10M。 该声明还设置了与Kafka通信的具体参数。

=> CREATE NOTIFIER my_notifier ACTION 'kafka://127.0.0.1:9092' MAXMEMORYSIZE '10M' PARAMETERS 'queue.buffering.max.ms=1000';

Vertica NOTIFY功能允许您发布即席消息。 例如，在长时间运行的查询结束时，您可以将Vertica配置为在查询完成时发送消息。 在下一个示例语句中，将为您在创建my_notifier时指定的Kafka代理的主题LongQuery_topic发布消息“Long Query Done”。

=> SELECT NOTIFY('Long Query Done', 'my_notifier', 'LongQuery_topic');

Vertica还允许您通过为任何90+数据收集器组件设置通知策略来自动发布数据收集器信息。 为此，您可以将DC组件映射到Kafka主题和通知程序。

在以下示例中，查询使用dc_notify通知程序和dc_load_events_topic Kafka主题启用LoadEvents组件的通知策略。

=> SELECT SET_DATA_COLLECTOR_NOTIFY_POLICY('LoadEvents', 'dc_notify', 'dc_load_events_topic',1);

发布后，Kafka消息可以被任何监视或存储系统使用。 使用CatalogInfoByMinute DC组件中的Kafka消息，可以监视Vertica节点中目录对象的平均数。

这是从使用socket.io和Kafka-rest构建的简单node.js监视应用程序的可视化。 此图显示

• 所有节点中目录对象的数量在相同的范围内。

• 对于每个节点，目录对象的数量定期增长和收缩。

该图还表示任何异常行为。