检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi
对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。
压缩格式 在下拉菜单中选择数据导入HDFS后保存文件的压缩格式，未配置或选择NONE表示不压缩数据。 输出目录 数据导入到HDFS里存储的保存目录。 文件操作方式 数据导入时的操作行为。
带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。 .
当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。
在MRS的大数据生态系统中，Alluxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离
数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题： 数据迁移方案介绍
临时表 数据库临时表的表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 oracle-connector 表名 目标表，用于存储数据。 列名 指定要写入的列名，没有指定的列允许被设置为空值或者默认值。
方案架构 HBase会把数据存储在HDFS上，主要包括HFile文件和WAL文件，由配置项“hbase.rootdir”指定在HDFS上的路径，华为云MRS集群的默认存储位置是“/hbase”文件夹下。
方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。
配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据 表输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。
华北-北京四 文件系统名称 设置并行文件系统的名称 hiveobs 数据冗余存储策略 多AZ存储：数据冗余存储至多个可用区（AZ），可靠性更高。 单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 单AZ存储 策略 并行文件系统的读写策略。
单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 单AZ存储 文件系统名称 文件系统的名称，需全局唯一，不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。
进入该逻辑集群页面，选择“数据同步状态”。 数据同步参数说明 表1 数据状态同步参数说明 参数 参数说明 数据表 Replicated*MergeTree系列引擎表表名。 所属数据库 数据表所在的数据库。 分片信息 数据表所在的ClickHouse分片。
解决办法 备份问题节点数据库下所有表数据到其他目录。
数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。 业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。
表2 并行文件系统参数 参数项 取值 区域 华北-北京四 文件系统名称 mrs-hbase 数据冗余存储策略 单AZ存储 策略 私有 归档数据直读 关闭 企业项目 default 标签 - 等待桶创建好，单击桶名称，选择“文件 > 上传文件”，将数据文件上传至OBS并行文件系统内。
快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源，并通过HetuEngine查询本集群Hive数据源的数据库表。
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
