完整安装和启动(服务启动)

要将完整的Data Collector作为服务安装,可以从StreamSets网站下载Data Collector RPM软件包或Data Collector压缩包 。

您可以在所有受支持的Linux操作系统上将Data Collector作为服务运行。

从RPM软件包安装

您可以安装Data Collector RPM软件包并将其作为服务在CentOS,Oracle Linux或Red Hat Enterprise Linux上启动。

从RPM软件包安装时,Data Collector使用默认目录并作为默认系统用户和组运行。

默认的系统用户和组名为sdc。如果计算机上不存在sdc用户和sdc组,则安装将为您创建用户和组,并为它们分配下一个可用的用户ID和组ID。

提示:要为sdc用户和组使用特定的ID,请在安装前创建用户和组,并指定要使用的ID。例如,如果要在多台计算机上安装Data Collector,则可能要在安装之前创建系统用户和组,以确保用户ID和组ID在所有计算机上都一致。

将完整的Data Collector作为服务安装需要root权限。

  1. 使用以下URL 从StreamSets网站下载适用于您的操作系统的Data Collector RPM软件包: https://streamsets.com/opensource
    • 对于CentOS 6,Oracle Linux 6或Red Hat Enterprise Linux 6,请下载RPM EL6软件包。
    • 对于CentOS 7,Oracle Linux 7或Red Hat Enterprise Linux 7,请下载RPM EL7软件包。
  2. 使用以下命令将文件提取到所需位置:
    tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

    例如,要在CentOS 7上解压缩版本3.12.0,请使用以下命令:

    tar xf streamsets-datacollector-3.12.0-el7-all-rpms.tar
  3. 使用以下命令来安装完整的Data Collector RPM软件包:
    yum localinstall streamsets*.rpm
  4. 要将Data Collector作为服务启动,请对您的操作系统使用所需的命令:
    • 对于CentOS 6,Oracle Linux 6或Red Hat Enterprise Linux 6,请使用:
      service sdc start
    • 对于CentOS 7,Oracle Linux 7或Red Hat Enterprise Linux 7,请使用:
      systemctl start sdc
  5. 要访问Data Collector UI,请在浏览器的地址栏中输入以下URL:
    http://<hostname>:18630/

对使用SysV Init的系统从压缩包安装

您可以安装Data Collector压缩包并将其作为使用SysV init系统的受支持操作系统(包括CentOS 6,Oracle Linux 6,Red Hat Enterprise Linux 6或Ubuntu 14.04 LTS)的服务来启动

有关使用systemd init系统的操作系统的压缩包安装说明,请参阅对使用systemd init的系统从压缩包安装。

注意:此过程将逐步设置用于启动Data Collector作为服务的默认目录以及默认系统用户和组。在安装之前,您可以选择使用 $SDC_DIST/libexec/sdcd-env.sh文件来修改定义目录以及系统用户和组的环境变量。

将完整的Data Collector作为服务安装需要root权限。

  1. 使用以下URL 从StreamSets网站下载Data Collector 压缩包:https ://streamsets.com/opensource 。
  2. 使用以下命令将压缩包解压缩到所需位置,通常是/opt/local/
    tar xf streamsets-datacollector-all-<version>.tgz -C <extraction directory>

    例如,要提取版本3.12.0,请使用以下命令:

    tar xf streamsets-datacollector-all-3.12.0.tgz -C /opt/local
  3. 创建一个名为sdc的系统用户和组。
    sdc用户和组用于将Data Collector作为服务启动。
  4. 从解压缩压缩包的目录中使用以下命令,将initd/_sdcinitd_prototype复制到 /etc/init.d目录:
    cp initd/_sdcinitd_prototype  /etc/init.d/sdc
  5. 使用以下命令将文件所有权更改为sdc:
    chown sdc:sdc /etc/init.d/sdc
  6. 编辑/etc/init.d/sdc文件,并将SDC_DIST和SDC_HOME环境变量设置为解压缩压缩包的位置。
  7. 使用以下命令使sdc文件可执行:
    chmod 755 /etc/init.d/sdc
  8. 使用以下命令在/etc/sdc中创建Data Collector配置目录:
    mkdir /etc/sdc
  9. 从解压缩了压缩包的目录中使用以下命令,将etc中的所有文件复制到刚刚创建的Data Collector配置目录中:
    cp -R etc/* /etc/sdc
  10. 使用以下命令将/etc/sdc目录的所有者以及该目录中的所有文件更改为sdc:sdc:
    chown -R sdc:sdc /etc/sdc
  11. 使用以下命令在 /etc/sdc目录中的form-realm.properties文件上设置仅所有者拥有权限 :
    chmod go-rwx /etc/sdc/form-realm.properties
  12. 使用以下命令在/var/log/sdc中创建Data Collector日志目录,并将所有者更改为sdc:sdc:
    mkdir /var/log/sdc
    chown sdc:sdc /var/log/sdc
  13. 使用以下命令在/var/lib/sdc中创建Data Collector数据目录,并将所有者更改为sdc:sdc:
    mkdir /var/lib/sdc
    chown sdc:sdc /var/lib/sdc
  14. 使用以下命令在/var/lib/sdc-resources中创建Data Collector资源目录,并将所有者更改为sdc:sdc:
    mkdir /var/lib/sdc-resources
    chown sdc:sdc /var/lib/sdc-resources
  15. 使用以下命令将Data Collector作为服务启动:
    service sdc start  
  16. 要将Data Collector服务添加到系统启动中,请对您的操作系统使用必需的命令。
    • 对于CentOS,使用以下命令:
      chkconfig --add sdc
    • 对于Ubuntu,请使用以下命令:
      update-rc.d sdc defaults 97 03
  17. 要访问Data Collector UI,请在浏览器的地址栏中输入以下URL:
    http://<hostname>:18630/

对使用Systemd Init的系统从压缩包安装

您可以安装Data Collector压缩包并将其作为使用systemd init系统的受支持操作系统(包括CentOS 7,Oracle Linux 7,Red Hat Enterprise Linux 7或Ubuntu 16.04 LTS)的服务来启动

有关使用SysV Init系统的操作系统的压缩包安装说明,请参阅对使用SysV Init的系统从压缩包安装。

注意:此过程将逐步设置用于启动Data Collector 作为服务的默认目录以及默认系统用户和组。在安装之前,您可以选择使用 $SDC_DIST/systemd/sdc.service文件来修改定义目录以及系统用户和组的环境变量。

将完整的Data Collector作为服务安装需要root权限。

  1. 使用以下URL从StreamSets网站下载Data Collector压缩包:https ://streamsets.com/opensource 。
  2. 使用以下命令将压缩包提取到所需位置,通常是/opt/streamsets-datacollector/
    tar xf streamsets-datacollector-all-<version>.tgz -C <extraction directory>

    例如,要提取版本3.12.0,请使用以下命令:

    tar xf streamsets-datacollector-all-3.12.0.tgz -C /opt/streamsets-datacollector
  3. 从解压缩压缩包的目录中使用以下命令,将systemd/sdc.service复制到 /etc/systemd/system目录:
    cp systemd/sdc.service /etc/systemd/system/sdc.service
  4. 如果您没有将压缩包解压缩到默认目录 /opt/streamsets-datacollector/,请覆盖该 /etc/systemd/system/sdc.service文件以修改SDC_HOME和ExecStart值。

    sdc.service使用与覆盖systemd init系统上的单元配置文件相同的过程覆盖文件中的缺省值 。有关示例,请参见systemd.unit联机帮助页中的 “示例2.覆盖供应商设置” 。

  5. 从解压缩压缩包的目录中使用以下命令,将systemd/sdc.socket复制到 /etc/systemd/system目录:
    cp systemd/sdc.socket /etc/systemd/system/sdc.socket
  6. (可选)编辑/etc/systemd/system/sdc.socket文件以修改Data Collector端口号。该端口必须与sdc.properties中定义的端口匹配 。默认值为18630。
  7. 创建一个名为sdc的系统用户和组。

    例如,使用以下命令创建具有下一个可用组标识和用户标识的系统用户和组:

    groupadd -r sdc && useradd -r -d <installation dir> -g sdc -s /sbin/nologin sdc

    如果要在多台计算机上安装Data Collector,建议您显式指定组ID和用户ID,以确保这些ID在各计算机之间是一致的。分别使用-g和-u标志来指定ID。

  8. 使用以下命令重新加载systemd管理器配置:
    systemctl daemon-reload
  9. 使用以下命令在/etc/sdc中创建Data Collector配置目录:
    mkdir /etc/sdc
  10. 从解压缩了压缩包的目录中使用以下命令,将etc中的所有文件复制到刚刚创建的Data Collector配置目录中:
    cp -R etc/* /etc/sdc
  11. 使用以下命令将/etc/sdc目录的所有者以及该目录中的所有文件更改为sdc:sdc:
    chown -R sdc:sdc /etc/sdc
  12. 使用以下命令在/var/log/sdc中创建Data Collector日志目录,并将所有者更改为sdc:sdc:
    mkdir /var/log/sdc
    chown sdc:sdc /var/log/sdc
  13. 使用以下命令在/var/lib/sdc中创建Data Collector数据目录,并将所有者更改为sdc:sdc:
    mkdir /var/lib/sdc
    chown sdc:sdc /var/lib/sdc
  14. 使用以下命令在/var/lib/sdc-resources中创建Data Collector资源目录,并将所有者更改为sdc:sdc:
    mkdir /var/lib/sdc-resources
    chown sdc:sdc /var/lib/sdc-resources
  15. 使用以下命令将Data Collector作为服务启动:
    systemctl start sdc
  16. 要将Data Collector服务添加到系统启动,请使用以下命令:
    systemctl enable sdc
  17. 要访问Data Collector UI,请在浏览器的地址栏中输入以下URL:
    http://<hostname>:18630/