System Metrics

支持的管道类型:

  •  Data Collector

  •  Data Collector Edge

System Metrics源从安装了StreamSets Data Collector EdgeSDC Edge)的边缘设备读取系统指标。仅在为边缘执行模式配置的管道中使用System Metrics源。

System Metrics源根据您配置的批次之间的延迟时间,定期从边缘设备读取指标。例如,如果将延迟时间设置为10分钟,则源端将每10分钟创建一个包含所选系统指标的新批次。

每个批次都包含一个记录,其中包含读取数据的时间戳记和每个选定系统指标类型的映射字段。配置源端时,选择要读取的系统指标的类型-包括主机信息以及CPU,内存,磁盘,网络和进程指标。

有关安装SDC Edge,设计边缘管道以及运行和维护边缘管道的更多信息,请参阅Meet StreamSets Data Collector Edge。

您要收集,监视和分析所有边缘设备的系统指标。

您在每个边缘设备上安装SDC Edge。您可以使用Data Collector来设计一条边缘发送管道,该管道包括System Metrics源和将系统指标发布到HTTP端点的HTTP Client目标端。您将边缘发送管道部署到所有边缘设备,然后在每个设备上运行管道。

您设计了一个Data Collector接收管道,该管道包括一个HTTP Server源,该源读取发布到HTTP端点的系统指标。读取指标后,Data Collector接收管道会对数据执行其他处理,然后将数据写入Elasticsearch以进行指标分析。您在Data Collector上运行Data Collector接收管道。

收集的系统指标

System Metrics源使用Go编程语言(或Golang)的psutil包来收集系统指标。

Golang的psutil包根据边缘设备的不同操作系统收集的值有所不同。有关系System Metrics源为每个操作系统收集的指标的完整列表,请运行边缘管道的预览。

例如,下图显示了System Metrics源的预览,该指标配置为收集过程指标以外的所有系统指标类型:

当我们扩展hostInfo映射字段时,预览显示为Linux操作系统收集的主机信息:

过滤进程指标

System Metrics源可以从边缘设备上运行的进程读取指标。配置为读取进程指标时,默认情况下,源端将读取所有正在运行的进程的统计信息。

在“Process选项卡上,您可以按进程名称或命令或拥有该进程的用户过滤源端所读取的进程。要按流程名称或命令进行过滤,请在“Processes属性中输入流程名称或流程命令的一部分。要按用户过滤,请为“User”属性输入用户名。

您可以使用对进程或用户求值的正则表达式或regex。用于这两个属性的以下默认正则表达式匹配所有用户拥有的所有正在运行的进程:

.*

例如,要仅读取名称以“st”开头的进程的统计信息,请为“Processes”属性输入以下正则表达式:

st.*

要仅读取root用户拥有的进程的统计信息,请为User属性输入“root” 。

有关将正则表达式与Data Collector一起使用的更多信息,请参见正则表达式概述。

配置Systems Metric源

配置Systems Metric源以从安装了SDC Edge的边缘设备读取系统指标。

  1. 在“Properties”面板的“General选项卡上,配置以下属性:
    一般属性 描述
    Name 阶段名。
    Description 可选说明。
    On Record Error 该阶段的错误记录处理:

    • Discard-放弃记录。
    • To Error-将记录发送到管道以进行错误处理。
    • Stop Pipeline-停止管道。
  2. 在“System Metrics选项卡上,配置以下属性:
    系统指标属性 描述
    Delay Between Batches 创建下一批数据之前要等待的毫秒数。
    Fetch Host Information 包括来自边缘设备的主机信息,例如主机名,操作系统和平台。
    Fetch CPU Stats 包括来自边缘设备的CPU统计信息,例如可用核心数和正在使用的CPU百分比。
    Fetch Memory Stats 包括来自边缘设备的内存统计信息,例如设备上的可用和已用内存量。
    Fetch Disk Stats 包括来自边缘设备的磁盘统计信息,例如设备的序列号和磁盘分区。
    Fetch Network Stats 包括来自边缘设备的网络统计信息,例如有关设备上打开的连接的信息。
    Fetch Process Stats 包括来自边缘设备上运行的进程的统计信息。

    默认情况下,源读取所有正在运行的进程的统计信息。

  3. 读取进程指标时,可以选择在“Process选项卡上配置以下属性以过滤进程:
    进程属性 描述
    Processes 正则表达式,用于按进程名称或命令过滤进程。
    User 使用正则表达式过滤拥有该进程的用户。