词汇表

术语

批次
一组通过管道的记录。Data Collector按批次处理数据。
启用CDC的源端
可以处理变更数据并将CRUD操作信息放置在sdc.operation.type记录头属性中的源端。
集群执行模式
一种管道执行模式,可让您处理来自Kafka或HDFS的大量数据。
集群管道,集群模式管道
配置为在集群执行模式下运行的管道。
控制字符
字符集中的非打印字符,例如确认或转义字符。
启用CRUD的阶段
可以使用sdc.operation.type头属性中写入的CRUD操作来写入变更数据的处理器或目标端。
数据警报
基于规则的警报,这些规则收集有关在两个阶段之间传递的数据的信息。
Data Collector配置文件(sdc.properties)
包含大多数Data Collector属性的配置文件。在以下位置找到:

$SDC_CONF/sdc.properties
Data Collector EdgeSDC Edge

无UI的轻量级代理,在边缘设备上以边缘执行模式运行管道。

数据漂移警报
基于数据漂移函数的警报可收集有关在两个阶段之间传递的数据结构的信息。
数据预览
数据在管道中移动时的预览。用于开发和测试管道。
数据流触发器
管道响应于管道中发生的事件而在外部系统中启动异步任务的指令。有关更多信息,请参见数据流触发器概述。
交付保证
管道属性,用于确定管道意外停止时Data Collector如何处理数据。
目标端
管道中使用的阶段类型,表示Data Collector在何处写入已处理的数据。
开发阶段,dev阶段
Dev Data Generator源端和Dev Random Error处理器等阶段可以进行管道开发和测试。不适用于生产管道。
边缘管道,边缘模式管道
在边缘设备上安装的Data Collector EdgeSDC Edge)上以边缘执行模式运行的管道。使用边缘管道从边缘设备读取数据或从另一个管道接收数据,然后对该数据进行操作以控制边缘设备。
事件框架

事件框架使管道能够根据管道中发生的动作来触发外部系统中的任务,例如在管道将文件写入HDFS之后运行MapReduce作业。您还可以使用事件框架存储事件信息,例如源端何时开始或完成文件的读取。

事件记录
发生与阶段相关的事件时,由事件生成阶段创建的记录,例如源端开始读取新文件或目标端关闭输出文件时。
执行器
一种在接收事件记录时于外部系统中执行任务的阶段类型。
显式验证
检查所有已配置的值的有效性并验证管道是否可以按配置运行的语义验证。单击Validate图标、请求数据预览或启动管道时发生。
字段路径
记录中字段的路径。用于引用字段。
隐式验证
列出缺少的或不完整的配置。默认情况下发生,因为Data Collector将所做的更改保存在管道画布中。
后续目录
管道启动后出现的源端目录。
指标警报
监视或通过电子邮件发送基于阶段或管道指标的警报。
微服务管道
创建微服务以执行特定任务的管道。
多线程管道
具有一个多个线程源端的管道,从而可以在一个Data Collector上的单个管道中处理大量数据。
源端
管道中用于表示管道中数据源的阶段类型。
管道
由Data Collector处理的数据流的表示形式。
管道运行器
在多线程管道中使用,以运行管道的无源实例。
前提条件
记录必须满足的条件才能进入处理阶段。不满足所有前提条件的记录将根据阶段错误处理进行处理。
处理器
对管道数据执行特定处理的阶段类型。
必填项
必填字段是必须存在于记录中的字段,以使其进入处理阶段。没有所有必填字段的记录将根据管道错误处理进行处理。
RPC ID
在SDC RPC源端和目标端中配置的用户定义的标识符,以允许目标端写入源端。
运行时参数
您为管道定义并在同一管道内调用的参数。用于在启动管道时指定管道属性的值。
运行时属性
您在Data Collector本地文件中定义的属性,并在管道中调用这些属性。用于为不同的Data Collector实例定义不同的值
运行时资源
您在Data Collector本地的受限文件中定义的值,并在管道中调用这些值。用于在运行时从文件加载通用管道配置属性。
SDC记录数据格式
用于Data Collector错误记录的数据格式,以及用于输出记录的可选格式。
SDC RPC管道
一组使用SDC RPC目标端和SDC RPC源端的管道将数据从一个管道传递到另一个管道,而无需写入中间系统。
无源管道实例
一种管道实例,包括管道中的所有处理器和目标端,并表示源端之后的所有管道处理。用于多线程管道。
快照
作为管道捕获的一组数据运行。您可以像数据预览一样逐步浏览快照。您也可以将其用作数据预览的来源。
独立管道,独立模式管道
配置为以默认独立执行模式运行的管道。