检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DWS源端参数 作业中源连接为DWS连接时，源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，
配置SAP HANA源端参数 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。
基线运维约束限制 使用基线运维特性时，为了保证任务的优先级生效，需要注意以下要求： MRS约束限制： 在MRS集群场景中，优先级配置只支持使用MRS API模式的数据连接类型，不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能，如果MRS集群如果
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数，以及引用后的生效范围、是否支持EL表达式和简易变量集等，让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境
步骤3：数据开发处理 本步骤通过电影信息和评分信息的原始数据，分析评分最高的Top10电影和最活跃的Top10电影，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 评分最
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
配置Doris源端参数 Doris源端参数列表 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。
0以下时，才支持用户同步。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 DWS数据源用户同步前，要求用户已至少配置DWS Database Access权限，否则会同步失败。 IAM用户同步到DWS，需要为dlg_agency委托配置如下权限，详见授权dlg_agency委托：
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，作业将根据该语句导出数据。
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
2:7301 密码 连接Redis的密码。 - Redis数据库索引 Redis分库的索引标识。 Redis的分库，相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置，默认是16个，分库名称是一个整数（0～15），不是一个字符串。 0 认证类型 访问MRS的认证类型：
如何配置Hudi Compaction的Spark周期任务？ 问题描述 Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何进行配置？ 解决方案 修改Migration实时集成作业配置。 Migrati
步骤2：数据开发处理 本步骤通过BI报表原始数据，分析10大用户关注最多的产品和10大用户评价最差的商品，然后通过作业定期调度执行并将结果每日导出到表中，以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
选择要申请的资源所在的集群。 *数据连接 选择要申请的资源所在的数据连接。 资源选择 *待添加资源 在导航树上选择数据库后，勾选所需的数据表，单次申请时支持选择不同数据库下的表。 说明： 当前仅支持按照数据表粒度，申请数据表的查询数据（SELECT）权限。因此权限申请前，请确保空间
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时，该参数需要填写为DLI。 database_name 是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id，获取方法请参见获取数据源中的表。
cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时，该参数需要填写为DLI。 database_name 是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id，获取方法请参见获取数据源中的表。
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
