检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持从MySQL导出数据。 表1 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
获取消息详情 功能介绍 获取消息详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/messages/{message_id} 表1 路径参数 参数 是否必选
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”,完成配置。
QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题 SUMMARY_DIMENSION_ATTRIBUTE: 汇总表维度属性
HBase后,可以使用命令恢复。对于那些会变化的数据,需要使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击“新建”,配置作业名称,确认后完成新建。 作业标签最多支持创建100个。 删除作业标签 在数据开发主界面的左侧导航栏,选择“配置管理
务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。
匹配到的主题信息。 directories Array of strings 数据质量目录信息。 queues Array of strings 队列名称。 connections Array of NameType objects 数据连接信息。 表5 MatchedTopicMsg 参数 参数类型
静态脱敏任务依赖于敏感数据发现任务。如果未在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”,则系统会认为表中无敏感字段,也就不会按照规则进行脱敏。 解决方案 创建静态脱敏任务前,必须先创建敏感数据发现任务,并在运行成功发现敏感字段后,在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”。
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level Integer 层级信息。
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Resource参数说明 参数名 是否必选 参数类型 说明 name 是
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover>
表2 Query参数 参数 是否必选 参数类型 描述 dw_id 是 String 数据连接ID。 db_type 是 String 数据库类型。 database_name 是 String 数据库名称。 table_name 是 String 表名。 请求参数 表3 请求Header参数
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要复制名称的作业,右键单击作业名称,选择“复制名称”,即可复制名称到剪贴板。
网络准备 数据库部署在本地IDC 参考数据库部署在本地IDC进行网络准备。 数据库部署在其他云 参考数据库部署在其他云进行网络准备。 数据库部署在华为云 参考数据库部署在华为云进行网络准备。 父主题: 数据集成(实时作业)
参数 是否必选 参数类型 描述 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 请求参数 表3 请求Header参数
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
传统周期调度依赖和自然周期调度依赖对比 传统周期调度 自然周期调度 自然周期调度之同周期依赖原理 自然周期调度之上一周期依赖原理 父主题: 数据开发进阶实践
data Object 返回的数据信息。 状态码:401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码:403 表8
也可以设置集群最大抽取并发数。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能