检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 1800 20 获取导入导出的任务状态 该接口用于获取导出导入任务的进度状态。 300 40 下载资源任务文件 该接口用于下载资源文件。 300 40 上传导入的文件接口 该接口用于数据质量导入文件使用。 1800
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 批量打标签(邀测) 父主题: 数据目录API
导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时显示此参数,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select
使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select
如果在配置作业依赖关系时勾选“最近”依赖的按钮,小时作业只依赖所选作业最近的一个运行实例,比如A在3:00开始调度,A依赖B最近的2:45调度的一个运行实例。 如果作业A在零点进行调度,所依赖作业B可以是昨天的分钟任务。 小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00
服务韧性 DataArts Studio通过AZ故障容错、过载保护、备份恢复等技术方案,保障数据的持久性和可靠性。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图2 环境变量配置 表1 环境变量参数配置 参数 是否必选 说明 参数名称 是
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 是 String IAM Token 最小长度:0 最大长度:4096 Content-Type 是 String 发送的实体的MIME类型。 表2
作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。
创建API时提示代理调用失败,怎么办? 可能原因 数据连接中的CDM代理异常,例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启,长期措施需降低CDM集群的工作负载。 父主题: 数据服务
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发
ElasticSearch作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 索引 类似关系数据库的schema或数据库名称,整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引,索引的结构必须一致。 该参数支持配置为
异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文
异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文
endpoint 是 String 待连接DIS的URL,URL格式为https://Endpoint。 linkConfig.ak 是 String DIS服务端的AK。 linkConfig.sk 是 String DIS服务端的SK。 linkConfig.projectId
在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。 数据治理委员会和
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。
如表1所示的参数。 图2 添加订阅 表1 添加订阅参数 参数 是否必选 说明 责任人 是 设置添加订阅的责任人。责任人是创建作业时所配置的责任人信息。 终端协议 是 短信 邮件 电话 终端信息 是 设置订阅的终端信息。 单击“确定”。 终端订阅配置完成后,您可以在通知的“操作”列进行如下操作。
整表迁移通过二进制传输数据,表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp信息,非整表迁移只传递列的value值。 是 否 列族 导出数据的列族。 例如:CF1&CF2 是 CF1&CF2 高级属性 切分Rowkey 是否将选做Rowkey的数据同时写入HBase的列,默认否。