核心安装

您可以下载并安装Data Collector的核心版本,然后根据需要安装各个阶段库。使用核心安装仅安装要使用的阶段库。核心安装使Data Collector可以使用更少的磁盘空间。

要安装和启动Data Collector的核心版本,您可以下载RPM软件包或核心压缩包。

核心安装包括Data Collector和以下阶段库:

  • 基础阶段库
  • 数据格式阶段库
  • 开发阶段库
  • 统计阶段库
  • Windows阶段库

然后,您可以使用Data Collector UI或命令行界面来安装其他阶段库。

核心安装包括所有开发阶段和以下阶段:

源端
  • CoAP Server
  • Directory
  • File Tail
  • gRPC Client
  • HTTP Client
  • HTTP Server
  • JavaScript Scripting
  • MQTT Subscriber
  • NiFi HTTP Server
  • OPC UA Client
  • REST Service
  • SDC RPC
  • SFTP/FTP/FTPS Client
  • System Metrics
  • TCP Server
  • UDP Multithreaded Source
  • UDP Source
  • WebSocket Client
  • WebSocket Server
  • Windows Event Log
处理器
核心安装包括所有的处理器,除了Control Hub API, Couchbase Lookup, Databricks ML Evaluator, Encrypt and Decrypt Fields, Groovy Evaluator, HBase Lookup, Hive Metadata, JDBC Lookup, JDBC Tee, Jython Evaluator, Kudu Lookup, MLeap Evaluator, MongoDB Lookup, PMML Evaluator, PostgreSQL Metadata, Redis Lookup, Salesforce Lookup, Spark Evaluator, SQL Parser, Start Job, Start Pipeline, TensorFlow Evaluator, 和Whole File Transformer。
目标端
  • CoAP Client
  • HTTP Client
  • Local FS
  • MQTT Publisher
  • Named Pipe
  • SDC RPC
  • Send Response to Origin
  • SFTP/FTP/FTPS Client
  • Splunk
  • Syslog
  • To Error
  • Trash
  • WebSocket Client
执行器
  • Databricks Job Launcher
  • Email
  • Pipeline Finisher
  • Shell

安装核心RPM软件包

您可以安装Data Collector RPM软件包并将其作为服务在CentOS或Red Hat Enterprise Linux上启动。要安装Data Collector的核心版本,请下载RPM软件包。执行核心安装和启动后,根据需要安装各个阶段库。

从RPM软件包安装时,Data Collector使用默认目录以及默认系统用户和组。

默认的系统用户和组名为sdc。如果计算机上不存在sdc用户和sdc组,则安装将为您创建用户和组,并为它们分配下一个可用的用户ID和组ID。

提示:要为sdc用户和组使用特定的ID,请在安装前创建用户和组,并指定要使用的ID。例如,如果要在多台计算机上安装Data Collector,则可能要在安装之前创建系统用户和组,以确保用户ID和组ID在所有计算机上都一致。
  1. 使用以下URL 从StreamSets网站下载适用于您的操作系统的Data Collector RPM软件包:https://streamsets.com/opensource :
    • 对于CentOS 6,Oracle Linux 6或Red Hat Enterprise Linux 6,请下载RPM EL6软件包。
    • 对于CentOS 7,Oracle Linux 7或Red Hat Enterprise Linux 7,请下载RPM EL7软件包。
  2. 使用以下命令将文件提取到所需位置:
    tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

    例如,要在CentOS 7上解压缩版本3.12.0,请使用以下命令:

    tar xf streamsets-datacollector-3.12.0-el7-all-rpms.tar
  3. 使用以下命令来安装核心Data Collector RPM软件包:
    yum localinstall streamsets-datacollector-<version>-1.noarch.rpm

    例如,要安装版本3.12.0,请使用以下命令:

    yum localinstall streamsets-datacollector-3.12.0-1.noarch.rpm
  4. 要将Data Collector作为服务启动,请对您的操作系统使用所需的命令:
    • 对于CentOS 6,Oracle Linux 6或Red Hat Enterprise Linux 6,请使用:
      service sdc start
    • 对于CentOS 7,Oracle Linux 7或Red Hat Enterprise Linux 7,请使用:
      systemctl start sdc
  5. 要访问Data Collector UI,请在浏览器的地址栏中输入以下URL:
    http://<hostname>:18630/

安装核心压缩包

要安装Data Collector的核心版本,请下载核心压缩包。执行核心安装和启动后,根据需要安装各个阶段库。

从StreamSets网站下载核心安装压缩包,然后使用以下安装方法之一安装核心Data Collector

  • 手动安装并启动。有关详细信息,请参阅完整安装和启动(手动启动)。
  • 安装并作为服务启动。有关详细信息,请参见对使用SysV Init的系统从压缩包安装或对使用Systemd Init的系统从压缩包安装。