检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
数据集成(实时作业) 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
优化迁移性能 迁移作业原理 性能调优 参考:作业分片维度 参考:CDM性能实测数据 父主题: 数据集成(CDM作业)
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成(CDM作业)
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
支持的数据源 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型 父主题: 数据集成(CDM作业)
授权API调用 通过应用授权APP认证方式API 通过应用授权IAM认证方式API 通过白名单授权IAM认证方式API 父主题: 开发数据服务API
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
使用教程 数据架构示例 父主题: 数据架构
业务指标监控(待下线) 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题: 数据质量
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制
√ API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云
数据管理流程 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意,在MRS API连接方式下,不支持通过可视化
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success。 400 BadRequest。 父主题: API管理接口
只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。 physical_table String 生产环境创建表状态 dev_physical_table String 开发环境创建表状态
Model)是《数据管理能力成熟度评估模型》GB/T 36073-2018国家标准,是我国首个数据管理领域正式发布的国家标准。旨在帮助企业利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。 图1