检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS参数配置。 其余DWS目的端参数说明请参考下表。 图6 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式 COPY模式：DWS专有的高性能批量入库模式，对性能有较高要求的强烈建议使用COPY模式。
能越长，请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka To
的API，图2为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterId=clusters[0].clusterId，后续的Rest
Schema名名和表名，其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图8 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
当前作业 ${作业变量} ${作业常量} 配置方法请参考：配置作业参数 脚本参数 配置自定义字段的参数名称和参数值。 当前脚本 ${脚本参数} 配置方法请参考：脚本参数 SQL脚本的变量格式有${}和${dlf.}两种，支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业
添加审核人 管理配置中心 数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您可以根据自己的业务需要进行自定义配置。 在数据架构控制台，单击左侧菜单栏的“配置中心”，进入配置中心页面。 进入“功能配置”页签，如下图所示，设置“模型设计业务流程步骤”。 图2 功能配置 单击“确定”完成配置。
Hudi作业配置 PostgreSQL 数据仓库：DWS 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL同步到DWS作业配置 Oracle 数据仓库：DWS 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。
用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql通过local_infile导入数据时，可配置编码格式。 utf8
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
拥有Oracle数据库的读取权限的用户。 admin 密码 Oracle数据库的登录密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - ORACLE版本 默认使用最新版本驱动，若不兼容请尝试其他版本。 高于12.1 驱动版本 需要适配的驱动。
或通过咨询了解。 购买并配置DataArts Studio 如果您是第一次使用DataArts Studio，需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。 购买并配置DataArts Studio 购买并配置DataArts Studio
用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时，可配置编码格式。 utf8
拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 CDM集群与ECS主机处于不同区域的情况下，需要通过公网或者专线打通网络。通
可选：单击“新建”，可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。 单击“新建”，配置质量作业的基本信息，如下图所示。 单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置规则信息，如下图所示。 单击“下一步”，配置告警信息，如下图所示。
单击左侧导航“业务场景管理”。 单击页面上方的“新建”，输入场景的基本配置参数，如下图所示。 单击“下一步”，输入规则组的配置参数，如下图所示。 单击“下一步”，配置订阅信息，如下图所示。 单击“下一步”，配置调度信息，如下图所示。 单击“提交”，完成作业场景的创建。 在业务场景
如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图3 配置调度方式 说明： 2021/08/06至2021/08/31，每天2点执行一次作业。 单击“提交”，执行调度作业，实现作业每天自动运行。 父主题： 使用教程
连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如192.168
创建一个数据开发模块空作业，作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面，拖动“MRS Flink”节点到画布中并单击，配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明： --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级
账作业”。 单击“新建”，配置对账作业的基本信息，如下图所示。 图1 配置基本信息 单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置对账规则，如下图所示。 需要分别配置源端和目的端的信息。配置源端连接请参见DWS数据连接参数说明，配置目的端连接请参见DLI数据连接参数说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
