检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType
否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。 toJobConfig.recordMD5Bucket 否 String 写入MD5校验结果的OBS桶。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
] } ] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务或都是全局级服务。多个授权语句策略描述如下: {
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
如何调用API 构造请求 认证鉴权 返回结果
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 公共数据结构
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
图解云数据迁移
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析