安装

您可以安装Data Collector并手动启动它,也可以将其作为服务运行。

您可以安装包含所有阶段库的完整版本的Data Collector。或者,可以安装Data Collector的核心版本,仅安装要使用的后台程序库。核心安装允许Data Collector使用更少的磁盘空间。

如果使用Cloudera管理器,则可以通过Cloudera管理器安装和管理Data Collector。

如果使用Docker,可以从Docker Hub运行Data Collector镜像。

您还可以使用云服务提供商(如Microsoft Azure)安装完整版本的Data Collector。

若要在MapR集群上安装Data Collector,必须执行其他必备步骤。

安装要求

在满足以下最低要求的计算机上安装Data Collector。要在集群执行模式下运行管道,集群中的每个节点都必须满足最低要求。

组件 最低要求
操作系统 使用以下一种操作系统及版本:

  • Mac OS X
  • CentOS 6.x or 7.x
  • Oracle Linux 6.x or 7.x
  • Red Hat Enterprise Linux 6.x or 7.x
  • Ubuntu 14.04 LTS or 16.04 LTS
Cores 2
RAM 1 GB
磁盘空间 6 GB
文件描述符 32768
Java Oracle Java 8 or OpenJDK 8
浏览器 使用以下一种浏览器的最新版本:

  • Chrome
  • Firefox
  • Safari

Oracle JVM的JCE

如果在Oracle JVM中使用AES-256加密,并且使用早于1.8.0_161的JDK版本,则在Data Collector计算机上配置JDK以使用Java Cryptography Extension(JCE)Unlimited Strength Jurisdiction Policy。

要将JDK配置为使用无限制加密,请将JDK安装中包含的java.security文件中的crypto.policy Java Security属性设置为unlimited值。有关更多信息,请参见java.security文件中的注释。

配置无限制加密后,重新启动Data Collector。

配置打开文件限制

Data Collector需要大量的文件描述符才能正确处理所有阶段。大多数操作系统都提供了一种配置来限制进程或用户可以打开的文件数。默认值通常小于32768文件描述符的Data Collector要求。

使用以下命令验证为当前用户配置的限制:

ulimit -n

大多数操作系统使用两种方法来配置打开文件的最大数量——软限制和硬限制。硬限制由系统管理员设置。软限制可由用户设置,但仅限于硬限制。

对于每个操作系统,增加打开文件的限制是不同的。有关首选方法,请参阅操作系统文档。

  • 在Linux上提高限制

要提高Linux上的打开文件限制,请参阅以下解决方案:如何设置ulimit值

此解决方案应适用于Red Hat Enterprise Linux、Oracle Linux、CentOS和Ubuntu。但是,有关首选方法,请参阅操作系统的管理员文档。

  • 在Mac OS上提高限制

您用于增加Mac OS限制的方法可能因版本而异。有关首选方法,请参阅操作系统版本的文档。

要增加计算机的限制,以便在重新启动终端并重新启动计算机后保留这些限制,请创建属性列表文件。以下步骤适用于Mac OS Yosemite、El Capitan和Sierra:

  1. 使用以下命令创建名为limit.maxfiles.plist的属性列表文件:
    sudo vim /Library/LaunchDaemons/limit.maxfiles.plist
  2. 将以下内容添加到文件中,根据需要修改maxfiles属性。
    maxfiles属性定义打开文件的限制。文件中的第一个值是软限制。第二个值是硬限制。例如,在以下limit.maxfiles.plist文件中,软限制和硬限制都设置为32768:

    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
    <plist version="1.0">
      <dict>
        <key>Label</key>
        <string>limit.maxfiles</string>
        <key>ProgramArguments</key>
        <array>
          <string>launchctl</string>
          <string>limit</string>
          <string>maxfiles</string>
          <string>32768</string>
          <string>32768</string>
        </array>
        <key>RunAtLoad</key>
        <true/>
        <key>ServiceIPC</key>
        <false/>
      </dict>
    </plist>
  3. 使用以下命令加载新设置:
    sudo launchctl unload -w /Library/LaunchDaemons/limit.maxfiles.plist
    sudo launchctl load -w /Library/LaunchDaemons/limit.maxfiles.plist
  4. 使用以下命令检查是否修改了系统限制:
    launchctl limit maxfiles

使用以下命令设置会话限制:

ulimit -n 32768

默认端口

下表列出了暴露给Data Collector客户端的默认端口以及如何使用这些端口。请注意,默认端口号可以在安装过程中更改。配置网络路由和防火墙,以便web UI客户端可以访问Data Collector IP地址。

系统 默认端口 协议 用途
Data Collector
  • HTTP – 18630
  • HTTPS – 取决于sdc.properties配置
TCP 访问Data Collector web UI 和 API.

下表列出了Data Collector所依赖的外部系统的默认端口及其使用方式。默认端口号可以更改——请与系统管理员确认实际的端口号。

外部系统 默认端口 协议 用途
LDAP or LDAPS 389

636

TCP 当Data Collector配置为LDAP或LDAPS身份验证时使用。
SMTP 465 TCP 当Data Collector配置为发送电子邮件通知时使用。