检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置队列权限 本章介绍如何通过队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略。 当前队列分配和队列权限管控均为白名单机制。即如果未分配队列，则无法选择队列；如果队列未对用户授权，则用户无法使用队列。 当为工作空间分
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务，不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略，采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时，默认采集该数据连接下的所有数据表/文件。采集任务运行完成后，
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台，该平台将应用多个云服务，结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用，需要建立统一的运维系统，实时接收应用的告警信息。 当告警级别达到严重及以上级别时，向用户发送一条消息。
间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩 导入数据到DWS且选择自动创表时，用户可以指定是否压缩存储。
在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件 已定义敏感数据识别规则，未定义请参考定义识别规则完成定义。 已配置内置脱敏算
购买DataArts Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题： 购买并配置DataArts Studio
数据架构 码表和数据标准有什么关系？ 关系建模和维度建模的区别？ 数据架构支持哪些数据建模方法？ 规范化的数据如何使用？ 数据架构支持逆向数据库吗？ 数据架构中的指标与数据质量的指标的区别？ 为什么关系建模或维度建模修改字段后，数据库中表无变化？ 表是否可配置生命周期管理？
规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数，详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
部分功能。 授权：授权会给予APP在有效期内访问API的权利。 续约：续约会更新授权有效期，仅支持延长有效期，不能减少。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/authorize
安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。 父主题： 安全
单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。 配置源端、目标端参数。 各链路源端或目的端参数配置不同，详情请参见使用教程中对应的文档进行配置。 （可选）配置DDL消息处理规则。
OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。
Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？ 一个空间可以创建同一数据源的多个连接吗？ 连接方式应该选择API连接还是代理连接？ 如何将一个空间的数据开发作业和数据连接迁移到另一空间？
数据开发错误码 错误响应消息格式如下： { "error_code":"DLF.0100", "error_msg":"The job not found" } 错误码如表1所示。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 400 DLF.0100 The job does
性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction.delta_commits int 40 实时处理集成生成compaction
配置Elasticsearch/云搜索服务（CSS）目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
配置ElasticSearch目的端参数 表1 Elasticsearch作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
