使用Cloudera Manager升级安装

使用Cloudera Manager升级安装时,新版本将使用相同的配置,数据,日志和资源目录。因此,新版本可以访问在先前版本中创建的文件。

注意:如果您安装了外部库或开发了自定义阶段,请在升级之前验证这些库是否存储在Data Collector运行时目录外部的本地目录中。这样,Data Collector在升级后仍可以使用这些库。

要通过Cloudera Manager 升级Data Collector,请执行以下步骤:

步骤1.停止所有管道

步骤2.备份以前的版本

步骤3.安装StreamSets定制服务描述符

步骤4.手动安装包裹和校验和文件(可选)

步骤5.分发并激活新的StreamSet parcel

步骤6.验证修改后的安全阀

步骤7.重新启动StreamSets服务

警告:您必须按此顺序执行步骤,否则Data Collector 将无法启动。

步骤1.停止所有管道

Data Collector中,停止所有正在运行的管道。

  1. 主页上,选择列表中所有正在运行的管道,然后单击“Stop图标。
    出现“Stop Pipeline Confirmation对话框。
  2. 单击“Yes以停止管道。

步骤2.备份以前的版本

在安装新版本之前,请通过复制并重命名配置,数据和资源目录来创建先前版本中文件的备份。这样,您可以根据需要继续运行以前的版本。

在运行Data Collector的每个Cloudera Manager节点上复制并重命名以下目录:

  • SDC_DATA – Data Collector目录,用于管道状态和配置信息。
  • SDC_RESOURCES- 运行时资源文件的Data Collector目录。

例如,如果您要升级版本3.0.0.0,请复制Data Collector配置目录并按以下方式重命名:/etc/sdc3000

如果需要回滚到以前的版本,则必须在运行Data Collector的每个Cloudera Manager节点上还原以前的目录。

步骤3.安装StreamSets定制服务描述符

安装新的StreamSets定制服务描述符文件(CSD),然后重新启动Cloudera Manager。

  1. 使用以下URL从StreamSets网站下载CSD:https://streamsets.com/opensource 。
    或者,您可以通过运行以下命令,使用GNU Wget程序从命令行下载CSD:

    export VERSION="3.13.0"
    wget https://archives.streamsets.com/datacollector/$VERSION/csd/STREAMSETS-$VERSION.jar
  2. 从Cloudera Manager中删除先前的StreamSets CSD文件。
    例如:

    rm -f /opt/cloudera/csd/STREAMSETS*.jar
  3. Data Collector CSD文件复制到本地描述符存储库路径。默认情况下,路径为/opt/cloudera/csd
    要验证要使用的路径,请在Cloudera Manager中单击Administration > Settings。在导航面板中,选择“定制服务描述符”类别。将CSD文件放在为“本地描述符存储库路径”配置的路径中
  4. 将文件所有权设置为cloudera-scm:cloudera-scm,权限为644
    例如:

    chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
    chmod 644 /opt/cloudera/csd/STREAMSETS*.jar
  5. 使用以下命令之一重新启动Cloudera Manager Server:
    对于Ubuntu 14.04,CentOS 6,Red Hat Enterprise Linux 6或Oracle Linux 6:

    service cloudera-scm-server restart

    对于Ubuntu 16.04,CentOS 7,Red Hat Enterprise Linux 7或Oracle Linux 7:

    systemctl restart cloudera-scm-server
  6. 在Cloudera Manager中,要重新启动Cloudera Management Service,请单击Home Status。在Cloudera Management Service右侧,点击菜单图标,然后选择重新启动

步骤4.手动安装包裹和校验和文件(可选)

您可以手动安装StreamSets地块和相关的校验和文件。当Cloudera Manager服务器无法访问Internet时,请手动安装文件。

当使用多个集群时,请对每个集群执行以下步骤。

  1. 从以下位置下载适用于Cloudera Manager Server操作系统的StreamSets parcel和相关校验和文件:
    https://archives.streamsets.com/index.html
  2. 将StreamSets parcel和校验和文件复制到Cloudera Manager本地parcel存储库路径中
    默认情况下,路径为/opt/cloudera/parcel-repo
    要验证要使用的路径,请单击Administration > Settings。在导航面板中,选择“Parcels”类别。将StreamSets parcel文件放在为“本地parcel存储库路径”配置的路径中
  3. 将包和校验和文件的所有权更改为运行Cloudera Manager进程的用户。
    例如,如果Cloudera Manager进程以cloudera-scm用户身份运行,请使用以下命令将所有权更改为cloudera-scm:

    sudo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLECTOR*

步骤5.分发并激活新的StreamSet parcel

将StreamSets存储库添加到Cloudera Manager之后,您可以下载新的StreamSets parcel,并将其分布在整个集群中。在激活新parcel之前,请停止StreamSets服务并停用以前的parcel

  1. 要查看可用地块的名单,在菜单栏中,单击“Parcels”图标。

    新的StreamSet parcel将显示在可用parcel列表中。如果未显示,请点击检查新parcel

  2. 要将新的StreamSet parcel下载到本地存储库,请点击“Download”。

    parcel下载后,“Download”按钮变为“Distribute”按钮。

  3. 要将新的StreamSet parcel分发到集群,请单击 Distribute
  4. 要停止StreamSets服务,请单击Clusters StreamSets,然后单击Actions Stop
  5. 点击包裹图标返回到地块页面。
  6. 若要停用先前的StreamSet parcel,请在“Location”选择器中选择适当的集群,然后单击“Deactivate”该parcel。
  7. 要激活新的StreamSet parcel,请在“Location”选择器中选择适当的集群,然后为parcel单击“Activate”。

步骤6.验证修改后的安全阀

升级时,Cloudera Manager会为您更新Data Collector配置属性。但是,如果您为先前的Data Collector版本修改了Cloudera Manager中的任何“高级配置代码段(安全阀)”属性,则这些值将覆盖新配置文件中的任何属性设置。

您必须将包裹随附的新配置文件与 /opt/cloudera/parcels/STREAMSETS修改后的安全阀进行比较,并根据需要更新安全阀以包括任何新属性。

例如,如果您对sdc.properties使用了Data Collector高级配置代码片段(安全阀)来覆盖 system.stagelibs.blacklist属性,则必须将新sdc.properties 文件中黑名单属性中列出的所有新阶段库添加到安全阀中被覆盖的属性中。

步骤7.重新启动StreamSets服务

重新启动StreamSets服务时,Cloudera Manager会为您更新Data Collector配置属性。Cloudera Manager保留您在先前的Data Collector版本中添加的所有自定义值。它还会添加新的Data Collector版本中包含的所有新属性。

要重新启动StreamSets服务,请单击Clusters StreamSets,然后单击Actions Start