检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包(SDK)是对DataArts Studio提供的REST API进行的Java,Python等封装,以简化用户的开发工作。 API文档
子网、同安全组的不同实例默认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前DataArts Studio实例创建完成后不支持切换默认CDM集群的VPC、子网、安全组,请谨慎选择。
配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。 通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单
勾选“采集唯一值”表示只统计已采集的表中的唯一值的个数,并在数据目录中的概要页签呈现。 数据分类配置说明(仅当数据目录组件中具备数据安全功能时,支持配置该选项;当前暂不支持关联独立数据安全组件中的敏感数据识别规则) 数据分类:勾选此项参见新建数据分类新建分类规则组或者选中已有分类规则组,实现自动识别数据并添加分类。
配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。 通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单
6-sha1,aes128-sha1”。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 KERBEROS 账号 登录MRS Manager的账号。 cdm 密码 登录MRS
6-sha1,aes128-sha1”。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X
配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。 通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单
通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是,您可以错开数据迁移作业
数据治理解决方案 数据治理解决方案概述 数据资产入表 数据管理能力成熟度模型DCMM 数据安全能力成熟度模型DSMM
S集群,CDM会自动填充下面的鉴权参数。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 KERBEROS Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X
数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts
Manager平台的密码。 linkConfig.authType 是 枚举 认证类型,分为以下两种: Simple:非安全模式选择Simple鉴权。 Kerberos:安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置,可以添加客户端的
Studio配置数据搬迁简介 管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁 数据目录配置数据搬迁 数据安全配置数据搬迁 数据服务配置数据搬迁
业或同时启动依赖的作业。如何配置依赖作业,请参见配置作业调度任务(批处理作业)。 如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。 如果该作业在基线任务链路上或者被其他作业依赖, 暂停调度/停止调度时,系统会自动给出弹窗提示。 图3 启动作业 批作业监控:补数据
medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,
medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala SQL 天任务依赖分钟任务 Flink Jar作业开发指导