检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试创建数据连接 功能介绍 测试创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections/validation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器，支持拖拽式工作流开发，快速构建数据处理业务流水线。
于一次全量写入场景。 微批模式为异步分批写入Hoodie，适用于对入库时间SLA要求较为严格的场景，以及对资源消耗较小，对MOR表存储类型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时，使用微批模式呈现此参数。
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例，介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
作业开发时，测试运行后如何查看运行日志？ 问题描述 作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
数的场景。 API测试 完成API参数的配置并保存后，单击左下角的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，如果数据服务API查询及返回数据的总时长超过默认60秒，会报超时错误。
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
迁移作业原理 数据迁移模型 CDM数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下： 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级，从上到下分别命名为主题域分组（L1
对象存储迁移服务（Object Storage Migration Service，简称OMS）是一种线上数据迁移服务，帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务（Object Storage Service，OBS）中。简言之，入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。
Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？ 问题描述 Postman调用接口返回结果正常，测试环境调用接口的URL参数不生效。 解决方案 URL的参数连接符&需要转义。 父主题： 数据开发
参考：作业分片维度 CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力：
整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。 支持整库同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示： 读取能力：DWS、RDS(MySQL)、RDS(PostgreSQL)
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
