开始SDC Edge

Data Collector Edge (SDC Edge) 包含几个示例管道,可以轻松上手。您只需导入示例边缘管道之一,创建适当的Data Collector接收管道,在边缘设备上下载并安装SDC Edge,然后运行示例边缘管道。

步骤1.导入示例SDC Edge管道

Data Collector Edge的GitHub库包括示例边缘管道。要使用示例管道,您首先需要将其导入Data Collector中。您可以根据需要编辑示例管道,然后将编辑的版本部署到SDC Edge

示例边缘管道使用运行时参数,以便在启动管道时可以指定管道属性的值。

在以下步骤中,我们将使用Directory Spooler到HTTP的示例管道为例。此示例边缘管道使用Directory源端读取边缘设备上的本地文本文件,并将JSON格式的数据写入HTTP Client目标,如下所示:

  1. Data Collector Edge GitHub存储库中,查看示例管道的列表。
  2. 在“Sample Pipelines”下,单击示例管道的名称。
    对于我们的示例,单击Directory Spooler to HTTP
  3. 单击立即尝试
    • 如果Data Collector在本地计算机上运行,​​请按照提示登录Data Collector
    • 如果Data Collector在远程计算机上运行,​​请修改浏览器地址栏中的URL以使用正确的主机名和端口号,按Enter,然后根据提示登录到Data Collector
    从HTTP URL导入管道对话框显示管道标题和HTTP URL。
  4. (可选)修改管道标题和描述。
  5. 点击导入

步骤2.创建并启动Data Collector接收管道

边缘发送管道与Data Collector管道协同工作。因此,在选择了要使用的示例边缘管道之后,创建并启动相应的Data Collector接收管道。该Data Collector接收管道必须在边缘发送管道之前启动。

  1. Data Collector中,创建一个新管道。
  2. “General”选项卡上,为“Execution Mode”选择“Standalone”。
  3. 在“Error Records选项卡上,选择“Discard,“Write to File”或“Write to MQTT以进行错误记录处理。
    如果将错误记录写入文件或MQTT,请单击相应的错误记录选项卡并配置所需的属性。
  4. 根据需要配置其余管道属性。
  5. 添加相应的源端以从样本边缘管道中的目标端读取。
    要从Directory Spooler to HTTP示例管道(使用HTTP Client目标端)接收数据,请添加HTTP Server源。
  6. 配置用于接收数据的原始属性。
    要从Directory Spooler to HTTP示例管道接收数据,请在HTTP Server源的HTTP选项卡上,为HTTP侦听端口输入一个唯一的端口号,并为Application ID输入一个唯一的应用程序ID

    启动示例边缘管道时,将使用运行时参数为相应的目标指定相同的值。

  7. 在“Data Format选项卡上,根据示例边缘管道选择“JSON”或“Text
    对于Directory Spooler to HTTP管道模板,选择JSON
  8. 添加并配置任意数量的处理器,执行程序和目标。
  9. 验证管道,然后单击“Start图标以启动管道。

步骤3.下载并安装SDC Edge

使用Data Collector可以下载SDC Edge可执行文件以及导入的示例管道。在要运行边缘管道的边缘设备上安装SDC Edge

  1. Data Collector中,打开您导入的示例边缘管道。
    例如对于打开目录后台处理程序到HTTP示例管道。
  2. 单击“Download Edge Executable图标:
  3. 在“Download Edge Executable窗口中,选择边缘设备的操作系统和体系结构。
  4. 点击“Download”
    Data Collector将tarball或ZIP文件下载到本地计算机。该文件包括SDC Edge可执行文件和选定的Edge管道。
  5. 将在Data Collector计算机上下载的文件移动到边缘设备。
  6. 解压缩下载的文件。
    例如,在Linux上使用以下命令将压缩包提取到边缘设备上的所需位置,通常是 /opt/local

    tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz

步骤4.启动SDC Edge和Edge Pipeline

运行单个命令以同时手动启动SDC Edge和示例边缘管道。然后,可以在SDC Edge运行之后运行其他命令来启动其他管道并管理正在运行的管道。

  1. 在边缘设备上,从SDC Edge主目录运行以下命令以启动SDC Edge和示例管道:
    bin/edge -start=<sample_pipeline_name> -runtimeParameters='{"<parameter_name1>":"<parameter_value1>",
    "<parameter_name2":"<parameter_value2>"}'

    请参阅Data Collector Edge GitHub存储库,以获取每个示例管道使用的参数列表。

    例如,要运行Directory Spooler to HTTP示例管道,请使用以下命令,确保使用与为Data Collector接收管道中的相应HTTP Server源端配置的端口号和应用程序ID相同的端口:

    bin/edge -start=directoryToHttp -runtimeParameters='{"directoryPath":"/tmp/out/dir","httpUrl":"http://localhost:9999","sdcAppId":"sde"}'
  2. 要在SDC Edge已经运行时有选择地运行另一个示例管道,请使用以下命令:
    curl -X POST http://<SDCEdge_hostname>:18633/rest/v1/pipeline/<sample_pipeline_name>/start -H 'Content-Type: application/json;charset=UTF-8' --data-binary -runtimeParameters='{"<parameter_name1>":"<parameter_value1>","<parameter_name2":"<parameter_value2>"}'