检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse源端参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。
表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。
属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。
图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。
图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。
数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。
图10 添加路由1 图11 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后，单击右侧“更多 > 修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。
数据架构API概览 表1 数据架构API类型 类型 说明 概览 概览接口。 信息架构接口 信息架构接口。 数据标准接口 数据标准接口 数据源接口 数据源接口。 码表管理接口 码表管理接口。 流程架构接口 流程架构接口。 数据标准模板接口 数据标准模板接口。
图2 新建密级权限管控策略参数配置 创建密级权限管控策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *用户类型 选择为用户或用户组进行密级权限管控。 *用户名称 选择当前实例所有工作空间成员中的用户或用户组。
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。
备份成功后，在以“备份日期”命名的文件夹内，自动生成backup.json文件，该文件按照节点类型存储了作业信息，支持恢复作业前进行修改。 启动每日备份后，若想结束备份任务，您可以单击右边的“停止每日备份”。
配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'。
配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'。
toJobConfig.encodeType 否 String 编码类型，例如：“UTF_8”或“GBK”。 toJobConfig.markerFile 否 String 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定，不指定时默认关闭该功能。
配置作业超时告警 作业超时告警是通过为作业配置实例超时时间实现的，您需要确保已参考配置作业失败告警，为作业设置了“运行异常/失败”类型通知。作业实例超时时间只能单个作业配置，配置完成后当作业运行实例超时，则将触发异常通知。
图3 下载集群客户端 选择客户端类型、平台类型（与执行任务的服务器保持一致），如果不修改保存路径，会自动下载客户端到MRS主节点对应路径下，在拷贝客户端软件包到待安装客户端节点的指定目录。
（可选）MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后，单击右侧“更多 > 修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
