什么是管道?

管道描述了从源系统到目标系统的数据流,并定义了如何沿途转换数据。

您可以使用一个源端(origin)阶段来表示源系统,多个处理器(processor)阶段来转换数据,并可以使用多个目标端(destination)阶段来表示目标系统。

开发管道时,可以使用开发阶段(development stages)提供示例数据并生成错误以测试错误处理。您可以使用数据预览来确认沿管道的各阶段如何更改数据。

您可以使用执行器(excutor)阶段执行事件触发的任务执行或保存事件信息。要处理大量数据,可以使用多线程管道或集群模式管道。

在写入Hive或Parquet或PostgreSQL的管道中,您可以实现数据漂移解决方案,该解决方案可以检测传入数据的漂移并更新目标系统中的表。

启动管道时,Data Collector会运行管道,直到停止管道或关闭Data Collector为止。您可以使用Data Collector来运行多个管道。

在管道运行时,您可以监控管道以验证管道是否按预期执行。您还可以定义度量标准和数据规则以及警报, 以在达到特定阈值时通知您。