检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
规格变更接口 功能介绍 规格变更接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/change-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
CPU核数+Executor个数*Executor CPU核数 内存数=driver内存+(Executor个数*Executor内存） Executor内存 代表每个Executor的内存。通常建议Executor CPU核数：Executor内存=1：4。 GB输入值必须在0到16之间，MB输入值必须在0到16
自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择： cdm.large：8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps
群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，作业的抽取并发数建议不超过集群的总抽取并发数，过高的并发数可能导致内存溢出，请谨慎修改。 关于数据集成中的更多约束限制，请参考CDM约束与限制。 数据开发
medium vCPUs/内存：4核 8GB 集群数量：1个 规格名称：cdm.large vCPUs/内存：8核 16GB 集群数量：1个 规格名称：cdm.xlarge vCPUs/内存：16核 32GB 集群数量：1个 规格名称：cdm.xlarge vCPUs/内存：16核 32GB
CPU使用率 该指标用于统计测量对象的CPU使用率。 单位：%。 0%～100% CDM集群实例 1分钟 mem_usage 内存使用率 该指标用于统计测量对象的内存使用率。 单位：%。 0%～100% CDM集群实例 1分钟 pg_pending_job 排队作业数 该指标用于统计该
String 规格名称。 str_id String 规格ID。 flavor_detail Array of flavorAttribute objects 规格详细列表。 表4 flavorAttribute 参数 参数类型 描述 name String 规格属性名称，如mem、cpu。
实例类型 目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4
批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
优化迁移性能 迁移作业原理 性能调优 参考：作业分片维度 参考：CDM性能实测数据 父主题： 数据集成
批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
实例规格变更 规格变更接口 父主题： 管理中心API
企业模式业务流程 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：
面向的读者 本文面向的读者包括：企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
组合识别规则测试 功能介绍 组合识别规则测试 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/check 表1 路径参数 参数 是否必选 参数类型 描述 project_id
实时处理集成作业 1分钟 作业CPU使用率 展示用户Flink作业的CPU使用率 ≥ 0% 实时处理集成作业 1分钟 作业内存使用率 展示用户Flink作业的内存使用率 ≥ 0% 实时处理集成作业 1分钟 作业最大算子时延 展示用户Flink作业的最大算子时延时间，单位ms ≥ 0ms
Studio实例的功能，规格增量包用于增加DataArts Studio实例的配额。当DataArts Studio实例使用配额接近或达到规格的情况下，您可以购买如下规格增量包： 作业节点调度次数/天增量包： 不同版本的DataArts Studio实例，提供了不同的作业节点调度次数/天规格限制。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
