KineticaDB

支持的管道类型:

  •  Data Collector

KineticaDB目标端使用Kinetica批量插入器将数据写入Kinetica集群中的表。

配置KineticaDB目标端时,可以指定Kinetica头节点的URL,连接凭据和表名。您可以为批量插入程序指定批处理大小,以及在将数据传递给Kinetica之前是否压缩数据。

必要时,可以禁用多头接收,还可以指定正则表达式来过滤批量插入器使用的IP地址。

多头摄取

默认情况下,KineticaDB目标端在可能的情况下使用多头摄取写入Kinetica。

使用多头摄取时,目标端可以将数据直接发送到适当的分片管理器。写入复制表时,目标端仅将数据传递到头节点,然后头节点按预期复制数据。

您可以将KineticaDB目标端配置为仅将数据发送到Kinetica头节点。例如,当Kinetica工作节点位于防火墙后面时,您可能需要禁用多头摄取。

若要禁用多头摄取,请在“Connection”选项卡上选择“Disable Multihead Ingest”属性。有关多头摄取的更多信息,请参见Kinetica文档。

插入和更新

默认情况下,写入Kinetica时,KineticaDB目标端会插入所有新记录。如果目标端在表中找到具有相同主键的现有记录,则它将按原样保留现有记录,并丢弃新记录。

您可以配置目标以替换现有记录。要用相同的主键替换现有记录,请在“Table”选项卡上选择“Update on Existing PK”属性。

配置KineticaDB目标端

配置KineticaDB目标端,以将数据写入KineticaDB集群。

  1. 在“Properties”面板的“General选项卡上,配置以下属性:
    一般属性 描述
    Name 阶段名。
    Description 可选说明。
    Required Fields 必须包含用于将记录传递到阶段的记录的数据的字段。

    提示:您可能包括阶段使用的字段。

    根据为管道配置的错误处理,处理不包括所有必填字段的记录。

    Preconditions 必须评估为TRUE的条件才能使记录进入处理阶段。单击 添加以创建其他前提条件。

    根据为该阶段配置的错误处理,处理不满足所有前提条件的记录。

    On Record Error 该阶段的错误记录处理:

    • Discard-放弃记录。
    • To Error-将记录发送到管道以进行错误处理。
    • Stop Pipeline-停止管道。对集群管道无效。
  2. 在“Connection选项卡上,配置以下属性:
    连接属性 描述
    Kinetica URL Kinetica集群头节点的URL。使用以下格式:

    http://<host name>:<port number> 

    例如:

    http://kinetica.acme.com:9191
    Batch Size Kinetica批量插入器要使用的批量大小。

    默认值为10,000条记录。

    Transport Compression 在写入Kinetica之前先压缩数据。
    Disable Multihead Ingest 禁用默认的多头摄取处理。选中后,目标端会将数据传递到Kinetica头节点以进行重新分发。
    IP Regex 用于指定要写入的IP地址的正则表达式。用于过滤与多宿主主机关联的无效IP地址。

    例如,如果Kinetica主机同时具有内部和外部IP地址,则可以输入正则表达式以仅允许写入外部IP地址。

    Custom Worker URL List 覆盖默认工作节点URL的工作节点URL的列表。

    您可以配置自定义工作程序节点URL的列表,以便目标端使用主机名而不是IP地址连接到工作程序节点。

    使用简单或批量编辑模式,单击添加图标并定义每个工作程序节点URL。URL必须按顺序列出,并且必须包含所有等级。

    例如,如果Kinetica集群包含三个工作程序节点,请为每个节点定义一个自定义URL,如下所示:

    http://kinetica.acme.com:9191/gpudb-1
    http://kinetica.acme.com:9191/gpudb-2
    http://kinetica.acme.com:9191/gpudb-3
  3. 在“Credentials选项卡上,配置以下属性:
    凭据属性 描述
    Username 连接的用户名。
    Password 连接的密码。
  4. “Table”选项卡上,配置以下属性:
    表属性 描述
    Table Name 要写入的表。表名区分大小写。
    Update on Existing PK 确定具有相同主键的记录已在Kinetica表中时的行为。

    选择以允许更新现有记录。默认情况下,当具有相同主键的目标文件已经存在时,目标端不会写入记录。