检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM仅适用于一次性将数据库迁移到云上的场景,包括同构数据库迁移和异构数据库迁移,不适合数据同步场景,比如容灾、实时同步。
如果Hetu端的Ranger上已有相同资源、名称的策略,则会导致同步权限至Hetu端的失败,此时需要手动清理Hetu端的Ranger上资源、名称冲突的策略。
job_log_location_name String 作业日志OBS路径。 name String 工作空间名称。 id String 工作空间ID ,获取方法请参见实例ID和工作空间ID。
job_log_location_name String 作业日志OBS路径。 name String 工作空间名称。 id String 工作空间ID ,获取方法请参见实例ID和工作空间ID。
表2 Query参数 参数 是否必选 参数类型 描述 action-id 是 String 需要执行的动作,根据导入的对象不同而选择不同的导入动作。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节
调度周期的自然起点定义如下: 调度周期为小时:上一调度周期的自然起点为上一小时的零分零秒,当前调度周期的自然起点为当前小时的零分零秒。 调度周期为天:上一调度周期的自然起点为昨天的零点零分零秒,当前调度周期的自然起点为今天的零点零分零秒。
数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。
为了方便将源数据集成到云上,我们需要先将样例数据存储为CSV文件,将CSV文件上传至OBS服务中。 创建CSV文件(UTF-8无bom格式),文件名称为对应的数据表名,将后文提供的各样例数据分别复制粘贴到不同CSV文件中,然后保存CSV文件。
DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
对账作业结果 对账作业运行结果中,左侧表示源端表行数规则运行结果,右侧表示目的端表行数规则运行结果,误差率表示两端数据行数的差异比率,误差率为0表示两端一致。 更多 > 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。
单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。
connection_name 否 String 数据连接名称 workspace_id 否 String 工作空间id job_id 否 String 作业id node_name 否 String 算子名称 table_lineage 否 TableLineageV2 object 血缘对象
专享版默认发布到数据服务专享版集群上,支持按照API版本发布,发布成功后API调用者可以通过内网或公网调用该API。值得一提的是,只有将API发布到专享版集群上,才不存在每天最多可以访问1000次的限制,可自由调用API。
配置通用角色 配置通用角色即在数据源上创建新角色,用于承载用户和权限之间的关联关系,可以更加直观地管理权限关系、进行权限管控。 配置纳管角色 配置纳管角色即为纳管MRS数据源上已有的角色,并继承已有角色的MRS数据源权限。
物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。
单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。