检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase/CloudTable增量迁移 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射
认证鉴权 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证通用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
配置节点并发数 本章节主要介绍如何配置当前作业空间同一时间允许正在运行的作业节点的最大并发数。 约束限制 工作空间的节点并发数不能大于实例的节点并发数上限。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
管理作业标签 作业标签用于给相同或用途类似的作业打上标签，便于管理作业，并根据标签查询作业。参考本节操作，您可管理作业标签，执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
新建离线处理集成作业 约束限制 离线处理集成作业不支持在企业模式下运行。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
事件管理 基线任务及其上游任务出错，或关键路径上的任务变慢时，将会产生相应的事件，用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio实例控制台，登录DataArts
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
配置告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
（可选）购买规格增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求，您可以额外购买增量包。在购买增量包前，请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包，功能增量包用于拓展DataArts
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表（物理表）、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出，暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出，其他数据操作类似。如果
数据源和资源组网络不通如何排查？ 问题描述 配置Migration实时集成作业时，检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。
元数据简介 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA（Plan-Do-Check-Action）循环的科学程序，
设置API可见 操作场景 当需要修改API在服务目录中的可见范围时，可以通过“设置可见”功能或编辑API中的“服务目录可见性”参数进行设置。 前提条件 已创建API。 通过“设置可见”功能修改API可见范围 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。
文件格式介绍 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择“文件格式”，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV
文件格式介绍 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择“文件格式”，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV
基线运维约束限制 使用基线运维特性时，为了保证任务的优先级生效，需要注意以下要求： MRS约束限制： 在MRS集群场景中，优先级配置只支持使用MRS API模式的数据连接类型，不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能，如果MRS集群如果
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
数据开发的并行执行节点数是多少？ DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关，对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看，其中的“作业节点调度次数/天”总量即为当前实例配额。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
