检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
创建按需计费的增量包后,会自动创建一个数据集成CDM集群。 套餐包(按需资源包):建立在按需计费的基础之上,通过预付费购买一定时间期限内的使用量套餐包。相对于按需计费更优惠,对于长期使用者,推荐使用套餐包。 创建套餐包计费的增量包后,购买的是和具体的区域、实例规格绑定的资源包,不会自动创建CDM集群。
据集成集群。 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置:
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 数据迁移进阶实践
API流量限制(次/min) 用户流量限制(次/min) cdm_a 共享流控(此策略所有接口共享流量限制) 100 5 cdm_b 共享流控(此策略所有接口共享流量限制) 200 20 cdm_c 共享流控(此策略所有接口共享流量限制) 6000 50 cdm_d 共享流控(此策略所有接口共享流量限制)
API流量限制(次/10s) 用户流量限制(次/10s) 导出资源 该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 1800 20 获取导入导出的任务状态 该接口用于获取导出导入任务的进度状态。 300 40 下载资源任务文件 该接口用于下载资源文件。
传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
300 30 资源管理 表4 资源管理 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建资源 创建资源。 100 10 查询资源列表 查询资源列表。 100 10 修改资源 修改资源。 100 10 删除资源 删除资源。 100 10 查询资源详情 查询资源详情。 300
导入包含API信息的EXCEL文件 导入包含API信息的EXCEL文件。 2400 120 导出包含API信息的EXCEL文件 导出包含API信息的EXCEL文件。 2400 120 全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 咨询与计费
目标表的基本配置: 文件存储格式:Parquet、TextFile、SequenceFile。 OBS存储路径:指定OBS文件存储的路径。 支持填写#{source_topic_name}内置变量,可将源端不同的topic的数据写入不同的路径下。例如:obs://bucket/dir/test
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
数据目录API概览 表1 数据目录API类型 类型 说明 API流量限制 用户流量限制(次/s) 业务资产接口 业务资产接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 指标资产接口 指标资产接口 统计资产接口 统计资产接口
数上限。 与“用户流量限制”配合使用,表示单位时间内的单个用户请求次数上限。 与“应用流量限制”配合使用,表示单位时间内的单个APP请求次数上限。 API流量限制 单个API被调用次数上限。 与“时长”配合使用,表示单位时间内的单个API请求次数上限。 用户流量限制 单个用户调用API次数上限。
API 说明 API流量限制(次/min) 用户流量限制(次/min) DataArtsStudio实例一键购买接口 DataArtsStudio实例一键购买接口。 12000 60 工作空间管理 表4 工作空间管理 API 说明 API流量限制(次/min) 用户流量限制(次/min)
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题: 关键操作指导
40 空间资源权限策略管理接口 表13 空间资源权限策略管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询空间资源权限策略列表 查询空间资源权限策略列表 3600 40 创建空间资源权限策略 创建空间资源权限策略 1800 20 查询单个资源权限策略
说明 API流量限制(次/min) 用户流量限制(次/min) 查询多种类型的表信息 从信息架构中查询多种类型的表信息,包括逻辑实体、物理表、维度表、事实表、汇总表。 21600 240 数据标准接口 表4 数据标准接口 API 说明 API流量限制(次/min) 用户流量限制(次/min)