删除不需要的记录

您可以在每个阶段通过定义记录进入阶段的必填字段或前提条件从管道中删除记录。

必填字段

必填字段是必须存在于记录中以允许其进入处理阶段的字段。当记录不包括所有必填字段时,将根据为管道配置的错误处理机制对其进行处理。您可以为任何处理器、执行器和大多数目标端阶段定义必填字段。

将必填字段配置为整体管道逻辑的一部分,或将处理错误降至最低。例如,如果Field Hasher在/SSN字段中编码社会保险数据,为确保所有记录都包含社会保险号,您可以将/SSN设置为该阶段的必填字段。

前提条件

前提条件是记录进入处理阶段所必须满足的条件。在将记录传递到阶段或进行错误处理之前,阶段会处理所有前提条件。当一条记录不满足所有已配置的前提条件时,将根据为该阶段配置的错误处理来对其进行处理。

您可以为任何处理器、执行器和大多数目标端阶段定义前提条件。您可以在前提条件中使用大多数函数,管道常量和运行时属性。

将前提条件配置为整体管道逻辑的一部分,或将处理错误降至最低。例如,您可以使用以下表达式排除来自美国以外的记录:

 ${record:value('/COUNTRY') == 'US'}

错误记录在errorMessage记录头属性中包含了有关失败的前提条件的信息。当管道正在运行时,您还可以在监控模式下查看最近的错误记录时看到错误消息。