管道监控

管道监控概述

Data Collector运行管道时,您可以查看有关管道的实时统计信息,检查正在处理的数据的样本,以及创建规则和警报。

当您在Data Collector运行管道时访问Data Collector UI时 ,UI在Monitor模式下显示管道。在监视方式下,您可以执行以下任务:

  • 查看实时阶段和管道统计信息
  • 查看阶段和管道错误信息,包括每个阶段的错误记录
  • 拍摄并查看数据快照
  • 配置规则和警报
  • 查看管道历史记录

有关使用规则和警报的信息,请参阅规则和告警概述。有关监控多线程管道的更多信息,请参阅监控。

Data Collector UI-监控模式

在监控模式下,可以使用Data Collector查看数据通过管道的过程。

下图显示了处于Monitor模式的Data Collector

区域/图标 名称 描述
1 管道画布 显示Data Collector正在运行的管道。

您可以单击一个阶段以查看有关该阶段的统计信息。单击画布上未使用的部分以查看管道统计信息。或者,您可以使用阶段列表选择要查看的信息。

2 监控面板 默认情况下显示管道或所选阶段的统计信息。在指定的选项卡上显示以下信息:

  • 摘要-管道或选定阶段的摘要统计信息。
  • 错误-所选阶段的管道错误或阶段错误和错误记录的摘要。
  • 信息-有关管道或所选阶段或链接的常规信息。
  • 配置-管道或选定阶段的配置详细信息。
  • 规则-公制警报规则,数据规则和警报的电子邮件ID。
  • 历史记录-管道历史记录和运行摘要的链接。

可以显示有关管道的信息或配置详细信息。

3 阶段清单 列出管道中的阶段。用于选择您要查看的信息。
StreamSets Control Hub图标 提供有关StreamSets Control Hub的信息,并允许您在Control Hub中注册此Data Collector
主页图标 显示带有管道及其状态列表的主页,使您可以执行管道维护并导航到各个管道。
包管理器图标 显示程序包管理器,该程序包管理器允许您安装其他阶段库以进行核心Data Collector 安装。
通知图标 显示通知。
管理图标 提供对Data Collector 配置属性,目录和日志的访问。还允许您关闭Data Collector
用户图标 显示活动用户和分配给该用户的角色。还允许您注销Data Collector
帮助图标 根据面板中的信息提供上下文相关的帮助。允许您配置显示设置并指定使用本地还是托管版本的帮助。

提供对REST API和Data Collector版本的访问。

链接到管道列表 链接到主页上的管道列表。用于查看可用管道的列表,执行管道维护(如启动或共享管道)以及导航到各个管道。
更多图示 为管道提供其他操作。用于暂停监视。
查看日志图标 显示数据收集器日志。等同于选择管理>日志。
自动排列图标 安排管道中的阶段。
快照图标 捕获通过管道传递的数据的快照,以便您可以查看数据。
停止图标 停止管道。
分享图示 与用户和组共享管道。用于配置管道权限。
流监控图标 选择以查看或配置数据规则或警报。
检查数据图标 指示何时在流上配置警报:

  • 浅灰色表示未定义任何数据规则。
  • 中灰色表示已定义至少一个数据规则,但没有一个处于活动状态。
  • 深灰色表示至少一个活动数据规则。
  • 红色表示已触发数据警报。
注意:某些图标和选项可能不会显示。显示的项目基于您正在执行的任务和分配给您的用户帐户的角色。

有关在主页上使用管道的信息,请参阅主页上的Data Collector UI-管道。

有关配置管道的信息,请参见Data Collector UI-Edit Mode。

有关数据预览选项的信息,请参阅Data Collector UI-预览模式。

查看管道和阶段统计信息

监控管道时,可以查看管道和管道中各个阶段的实时摘要和错误统计信息。

默认情况下,Data Collector UI在运行管道时显示管道监视信息。您可以选择一个阶段以查看有关该阶段的统计信息。同样,您可以查看管道及其阶段的错误信息。

“Monitor”面板在以下选项卡上显示统计信息:

摘要

对于管道,显示管道的记录数,记录和批处理吞吐量以及批处理统计信息。对于以运行时参数启动的管道,显示管道当前正在使用的参数值。

对于一个阶段,显示记录和批处理吞吐量以及批处理统计信息。

提示:您可以将鼠标悬停在图表的不同部分以查看确切的数字。

请注意,记录和批处理吞吐量图是使用指数移动平均值计算的,其权重更重于最新值,并以指数方式减少了旧数据的影响。有关更多信息,请参见https://en.wikipedia.org/wiki/Moving_average#Exponential_moving_average。

错误
对于管道,显示自管道启动以来按五分钟衰减的错误记录数和按阶段显示的错误记录数的直方图。
对于阶段,显示错误记录数和阶段错误数。

监控错误

监控管道时,可以查看管道和每个阶段的错误统计信息。您还可以查看错误记录的样本。

默认情况下,“Monitor面板中的“Errors选项卡显示管道错误:

与阶段有关的错误

您可以查看与每个阶段有关的错误。与阶段相关的错误包括该阶段产生的错误记录以及该阶段遇到的其他错误。

要查看与阶段相关的错误,请从阶段列表中选择阶段。或者,单击画布中的阶段。“Monitor面板的“Errors选项卡显示以下选项卡:

错误记录

显示带有相关错误消息的错误记录样本,以及计数和错误直方图。

您可以展开和查看每个错误记录中的数据。如果错误是由异常产生的,则可以单击“View Stack Trace以查看完整的堆栈跟踪。保存在内存中的错误记录的数量在Data Collector 配置文件$SDC_CONF/sdc.properties中定义。
阶段错误
显示阶段错误列表以及计数和错误直方图。阶段错误是操作错误,例如由于无效的源数据而导致源端无法创建记录。

快照

快照是在其通过正在运行的管道中移动时捕获的一组数据。

您可以在监视Data Collector管道时捕获快照。

在Data Collector Edge管道中不可用。

查看快照以验证Data Collector管道如何处理数据。像数据预览一样,您可以查看快照数据如何在管道中逐步或跨多个阶段移动。您可以向下钻取以查看每个记录的值,以确定该阶段或一组阶段是否按预期方式转换了数据。

与数据预览不同,在查看快照时,无法编辑数据以执行测试。相反,您可以将快照用作数据预览的源数据。您可以使用快照进行数据预览,以使用生产数据测试管道。

故障快照

故障快照是部分快照,当管道由于意外数据而停止时会自动发生。您可以查看故障快照以解决问题。

故障快照捕获发生问题时在内存中的管道中的数据。结果,它包含导致问题的数据,并且可能包含其他不相关的数据,但不像完整快照一样包含每个阶段的数据。

默认情况下,独立管道会生成故障快照。集群或边缘执行模式下的管道不会生成故障快照。

您可以通过清除“Create Failure Snapshot”管道属性,将独立管道配置为跳过生成故障快照。

查看故障快照

独立管道生成故障快照后,您可以查看快照以确定错误原因。

要查看故障快照,请在停止的管道中单击“More”图标,然后选择“Snapshot”。在“Snapshot”对话框中,找到故障快照,然后单击“View”。

在“Snapshot”对话框中,故障快照使用以下命名约定: Failure at <time of failure>

显示故障快照时,您可以单击各个阶段。没有遇到任何错误的阶段通常不会显示任何数据。包含数据的阶段应该是遇到错误的阶段。

例如,假设管道停止,并出现以下错误:

com.streamsets.pipeline.api.StageException: SCRIPTING_06 - Script error while processing batch: 
javax.script.ScriptException: <error message>

您可以单击从起点开始的管道,查找有问题的阶段,并且找不到任何数据。但是从错误消息中,您可以看出脚本处理器存在问题。因此,您可以立即查看脚本处理器。在那里,您发现有问题的数据进入了处理器,但没有退出:

然后,您可以检查导致错误的数据,并根据需要编辑管道。

捕获和查看快照

监控管道时,可以捕获数据快照。

捕获快照后,您可以逐步或通过一组阶段(例如数据预览)查看快照数据。您也可以删除快照数据或将其用作数据预览的源数据。

  1. 从正在运行的管道的管道画布中,单击“Snapshot图标。
  2. 在“Snapshot对话框中,单击“Capture Snapshot以捕获一组数据。
    Data Collector捕获通过管道,并显示在列表中通过下一批的快照。
    您可以拍摄其他快照,查看快照,删除快照,或关闭对话框并稍后使用快照。
  3. 要查看快照,请单击“View以获取要使用的快照。
    画布突出显示了管道的源端阶段。“Monitor”面板在“Output Data”列中显示快照数据。由于这是管道的起点,因此不会显示任何输入数据。
  4. 要查看下一阶段的数据,请单击“Next Stage图标。或者,要查看其他阶段的数据,请在管道画布中选择该阶段。
  5. 要查看多个阶段的快照,请单击“Multiple
    “Preview”面板显示两个阶段列表:

    1. 从左侧的列表中,选择要包括的第一阶段。
    2. 在右侧的列表中,选择要包括的最后一个阶段。
  6. 要查看其他快照中的数据,请在监视器面板的左上方,选择其他快照名称
  7. 要退出快照查看,请单击“Close Snapshot

下载快照

需要时,您可以下载快照。您可以从生产Data Collector下载快照,以便可以在开发Data Collector上查看快照。或者,您可以下载快照以使用Dev Snapshot Replaying源从下载的文件中读取记录。

下载快照时,它将下载到Data Collector计算机上的默认下载位置。

下载的快照使用以下命名约定:<pipeline id>_<snapshot name>.json

管道ID是管道的原始标题,后跟UUID。

对于标准快照,快照名称为“snapshot”,后跟拍摄快照的时间时间戳。例如,从Oracle下载到Google Cloud管道的标准快照可能具有以下名称:

OracletoGoogleCloud_f116d713-372c-4105-ad03-e042c47dc72b_snapshot1513289740553.json
对于故障快照,快照名称为“Failure_”,后跟一个UUID。例如,为AWS管道下载的故障快照可能具有以下名称:

AWSa81167ba-be03-4f74-8028-2f5b0439e6a9_Failure_6c7912ee-c4f7-4aee-b67f-0b0e587bc91e.json
  1. 从正在运行的管道的管道画布中,单击“Snapshots图标。或者,从停止的管道的画布中,单击“More”图标,然后单击“Snapshots
    Snapshots”窗口显示管道的所有可用快照。
  2. 在“Snapshots窗口中,单击要下载的快照的“Download”。

删除快照

默认情况下,Data Collector保留管道的所有快照。您可以删除不再需要的快照。例如,在生产数据收集器上拍摄快照后,您可以下载快照以在开发数据收集器上进行查看,然后从生产计算机上删除快照。

注意:删除快照时,该信息将被不可撤销地删除。您无法检索已删除的快照。
  1. 从正在运行的管道的管道画布中,单击“Snapshots图标。或者,从停止的管道的画布中,单击“More”图标,然后单击“Snapshots
    Snapshots”窗口显示管道的所有可用快照。
  2. 在“Snapshots窗口中,单击要删除的快照的“Delete”。

查看运行历史

您可以在配置或监视管道时查看管道的运行历史记录以及每个运行的摘要。

管道历史记录显示以下信息:

  • 管道状态
  • 管道启动或停止的时间
  • 相关讯息
  • 访问每个运行摘要

单击管道属性或监视器面板中的“History选项卡以查看运行历史记录。下图显示了示例运行历史记录:

查看运行摘要

查看管道历史记录时,可以查看管道的每次运行的运行摘要。

您可以查看已完成运行的运行摘要。运行摘要包括以下信息:

  • 管道的输入,输出和错误记录计数。
  • 每个阶段的输入,输出和错误记录计数。
  • 管道的运行时统计信息,包括已处理的批处理数量,接收到最后一条记录的时间以及可用时的源偏移量。

要查看运行摘要,请在管道的“History选项卡上,单击“View Summary