检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩，所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>
查看备份目录下是否有备份包，且份目录挂载节点剩余空间小于20GB。 是，执行10。 否，执行13。 将备份包移出备份目录，或者删除备份包，直到备份目录挂载节点剩余空间大于20GB。 再一次启动该备份任务，查看备份任务是否执行成功。 是，执行12。 否，执行13。 等待2分钟，检查告警是否消除。 是，结束执行。 否，执行13。
数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题： 数据迁移方案介绍
配置或选择NONE表示不压缩数据。 自定义压缩格式 自定义压缩格式类型的名称。 generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名，用于最终保存传输的数据。 临时表 数据库临时表的表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。
压缩格式 在下拉菜单中选择数据导入HDFS后保存文件的压缩格式，未配置或选择NONE表示不压缩数据。 输出目录 数据导入到HDFS里存储的保存目录。 文件操作方式 数据导入时的操作行为。全部数据从输入路径导入到目标路径时，先保存在临时目录，然后再从临时目录复制转移至目标路径，任务完成
MRS备份任务执行失败 问题现象 MRS的备份任务总是执行失败。 原因分析 备份目录软链接到系统盘，系统盘满了之后备份任务失败。 处理步骤 检查备份目录是否软链接到系统盘。 以root用户登录集群主备Master节点。 执行df -h命令查看磁盘情况，检查系统盘的存储情况。 执行
为什么已备份的Hive表无法执行drop操作 问题 为什么已备份的Hive表执行drop操作会失败？ 回答 由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。 Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HD
为什么已备份的Hive表无法执行drop操作 问题 为什么已备份的Hive表执行drop操作会失败？ 回答 由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。 Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HD
）。 添加待移入的Partition行到文件末尾（行结构为“Topic名称 Partition标识 Offset”，直接复制5中保存的行数据即可）。 移动数据，将待移动的Partition文件夹移动到目的目录下，移动完成后执行chown omm:wheel -R Partitio
元数据导出 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致，需要将源集群的元数据信息导出，以便在完成数据迁移后进行必要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文
DBService备份任务执行失败 问题背景与现象 查看备份文件路径中没有DBService的备份文件。 ls /srv/BigData/LocalBackup/default_20190720222358/ -rlth 图1 查看备份文件 原因分析 查看DBService的备份日志/va
ing类型，当前行成为脏数据。 “过滤行转换”步骤中，被筛选条件过滤的行成为脏数据。 “取模转换”步骤中，原字段值为“NULL”，当前行成为脏数据。 单击“下一步”。 在“4.输出设置”，设置数据保存目标位置，然后单击“保存”保存作业或“保存并运行”，保存作业并运行作业。 表4 输出配置参数一览表
浮动IP不通导致DBService备份失败 问题背景与现象 在默认备份default中DBService备份失败，其他备份（NameNode、LdapServer、OMS备份）成功。 原因分析 查看DBService的备份页面错误信息，有如下错误信息提示： Clear temporary
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。
压缩格式 在下拉菜单中选择数据导入HDFS后保存文件的压缩格式，未配置或选择NONE表示不压缩数据。 输出目录 数据导入到HDFS里存储的保存目录。 文件操作方式 数据导入时的操作行为。全部数据从输入路径导入到目标路径时，先保存在临时目录，然后再从临时目录复制转移至目标路径，任务完成
MRS集群周期备份任务执行失败 问题现象 MRS 1.7.2版本集群周期备份故障，在MRS Manager页面的“告警管理中”出现“ALM-12034 周期备份任务失败”告警。 原因分析 集群在周期性的备份中，由于备份产生了软连接，将/srv/BigData/LocalBacku
P的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上，HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常
注意事项 Join数据倾斜问题。执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set
数据保护技术 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中，HDFS默认采用CRC32C算法校验数据的正确性，同时也支持CRC32校验算法，CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据，
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/et
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
