执行器概述

执行器阶段在收到事件时会触发任务。

在事件流中,将执行器用作数据流触发器的一部分,以执行事件驱动的、与管道相关的任务,例如在目标端关闭时移动完全写入的文件。

有关事件框架的更多信息,请参见《数据流触发器概述》。

您可以在管道中使用以下执行器:

  • Amazon S3 -为指定的内容创建新的Amazon S3对象,复制存储桶中的对象,或将标签添加到现有的Amazon S3对象。
  • ADLS Gen1 File Metadata -收到事件后,更改文件元数据,创建一个空文件或删除Azure Data Lake Storage Gen1中的文件或目录。
  • ADLS Gen2 File Metadata -收到事件后,更改文件元数据,创建一个空文件或删除Azure Data Lake Storage Gen2中的文件或目录。
  • Databricks -收到事件记录后启动指定的Databricks作业。
  • Email -在收到事件后向配置的收件人发送自定义电子邮件。
  • HDFS File Metadata -接收事件后,更改文件元数据,创建空文件或删除HDFS或本地文件系统中的文件或目录。
  • Hive Query -收到事件记录后运行用户定义的Hive或Impala查询。
  • JDBC Query -收到事件记录后运行用户定义的SQL查询。
  • MapR FS File Metadata -收到事件后,更改文件元数据,创建空文件或删除MapR FS中的文件或目录。
  • MapReduce -收到事件记录后启动指定的MapReduce作业。
  • Pipeline Finisher -收到事件记录后停止并将管道转换为Finished状态。
  • Shell -在接收到事件记录执行shell脚本。
  • Spark -收到事件记录后启动指定的Spark应用程序。