检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行调用，不支持其他账号及其归属用户调用。如有需要可以通过白名单授权的方式授权给其他账号，详见通过白名单授权IAM认证方式API。 如需在本地调用专享版API，则需在创建专享版集群时绑定一个弹性公网IP，作为实例的公网入口。共享版API默认可通过公网访问。 Token的有效期为2
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因
项目ID，获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 查询多个作业用all,查询单个作业输入作业名。 表2 Query参数 参数 是否必选 参数类型 描述 filter 否 String 当“job_name
connectionName 否 String 连接名称 scriptArgs 否 String 脚本参数，key、value形式，多个参数间用\n分隔，例如key1=value1\nkey2=value2 表15 Spark SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName
min(${Column2}) from ${Schema_Table1}，则输出结果说明可写为“最大值，最小值”，注意输入顺序。输出结果说明中有多个字段时，用英文逗号进行分隔。如果输出结果说明中使用中文逗号，在保存时会自动替换成英文逗号。 质量规则 入参 当“规则类型”选择“多表多字段”，需要配置该参数。
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台，该平台将应用多个云服务，结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用，需要建立统一的运维系统，实时接收应用的告警信息。 当告警级别达到严重及以上级别时，向用户发送一条消息。
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 服务 是 选择需要开机/关机的服务： ECS CDM 开关机设置 是 选择开关机类型： 开 关 开关机对象 是 选择需要开机/关机的具体对象，例如开启某个CDM集群。 表2 高级参数
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
connectionName 否 String 连接名称。 scriptArgs 否 String 脚本参数，key、value形式，多个参数间用\n分隔，例如：key1=value1\nkey2=value2。 表16 Spark SQL节点属性说明 参数名 是否必选 参数类型 说明
数据库、数据仓库、数据湖与华为智能数据湖方案 CDM与其他数据迁移服务有什么区别，如何选择？ DataArts Studio是否支持私有化部署到本地或私有云？ 如何选择DataArts Studio版本 可以免费试用DataArts Studio吗？ 免费试用即将到期，如何续费？ DataArts
MRS Spark数据连接参数说明 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为MapReduce服务（MRS Spark）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。 驱动文件请根据驱动类型去相关官网上下载，并在选择弹窗中上传驱动，或在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置
Schema名相同的Hudi表中。 自定义：数据将同步至自行指定的Hudi表中。 图6 整库场景下源库表和目标匹配策略 说明： 自定义匹配策略时，支持用内置变量#{source_db_name}和#{source_table_name}标志来源Oracle Schema名和表名，其中表匹配策
SOFTLY：一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断，并重启集群的虚拟机。 restartLevel 否 String 重启级别： SERVICE：重启服务。 VM：重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型，只支持“cdm”。
”页签，查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将汇总表导出到本地。 在手工创建或自动汇聚列表选中待导出的汇总表。 在列表上方，单击“更多 > 导出”，即可将系统中的汇总表导出到本地。 在左侧主题树中选中某个主题，可以导出该主题下的所有汇总表； 当该空间下不超过500条汇总表数据时可以全部导出。
名相同的Hudi表中。 自定义：数据将同步至自行指定的Hudi表中。 图8 整库场景下源库表和目标匹配策略 说明： 自定义匹配策略时，支持用内置变量#{source_db_name}和#{source_table_name}标志来源MySQL的库名和表名，其中表匹配策略必须包含#
h:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor flavor object 节点的虚拟机规格，请参见flavor参数说明。 datastore Datastore object 集群信息，请参见datastore参数说明。 dbuser
源组VPC网段的路由。 为实时网络连接（对等连接）添加数据源网段路由。 单击步骤7所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址。 图4 添加路由1 图5 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后，单击右侧“更多
资源组VPC网段的路由。 实时网络连接（对等连接）添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址（例如192.168.0.0/24）。 图6 添加路由1 图7 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。
资源组VPC网段的路由。 实时网络连接（对等连接）添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址（例如192.168.0.0/24）。 图6 添加路由1 图7 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
