检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<headerKey> - 设置某一个分组采集数据时event中的key-value值。 byteOffsetHeader false 是否在每一个event头中携带该event在源文件中的位置信息。设置为true，则该信息保存在byteoffset变量中。 maxBatchCount Long.MAX_VALUE
为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。 存储路径 /tenant/ta1 配置租户在HDFS中的存储目录，用于存放租户资源数据。
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本
行任务。无论是在调度方面，或者是executor方面。各个Driver独立调度自己的任务；不同的应用任务运行在不同的JVM上，即不同的Executor。 不同Spark应用之间是不共享数据的，除非把数据存储在外部的存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务
的作用相当于一个容器。 SparkConf：Spark应用配置类，如设置应用名称，执行模式，executor内存等。 JavaRDD：用于在java应用中定义JavaRDD的类，功能类似于scala中的RDD(Resilient Distributed Dataset)类。 Ja
相同方式在新增节点上执行。如果集群开启弹性伸缩功能，可以在配置资源计划的同时添加自动化脚本，则自动化脚本会在弹性伸缩的节点上执行，实现用户自定义操作。 引导操作简介 运维授权 当用户使用集群过程中出现问题需要华为云支持人员协助解决时，用户可通过“运维授权”功能授权华为云支持人员访问用户机器的权限用于定位问题。
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs/
MRS租户管理中的动态资源计划页面无法刷新怎么办？ 问： MRS租户管理中的动态资源计划页面无法刷新怎么办？ 答： 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是，将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，大大降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA
当用户使用集群过程中出现问题需要华为云支持人员协助解决时，用户可先联系华为云支持人员，再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题，或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。 在左侧导航栏中选
解决修改ClickHouse角色添加库create权限，在ClickHouse后台查看权限显示错误的问题。 解决使用ClickHouse管理员权限角色进行权限修改时，取消单个库的管理权限后，其他权限丢失的问题。 解决管理面1条慢查询在界面上报2条同样的查询信息的问题。 解决ALM-12054
3.3.1及之后版本： 根据实际情况配置“选择下载位置”参数。 服务器端：下载到当前集群的主OMS节点上。 浏览器：下载到本地电脑。 远端节点：下载到主OMS节点外的其他节点上。 根据界面提示配置“保存到如下路径”参数。如果下载位置选择“浏览器”则无需配置该参数。 如果选择下载到“远端节点”还需参考表1进行配置。
/var/log/Bigdata/clickhouse/clickhouseServer/backup.log ClickHouse在Manager上执行备份恢复操作的日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/stop
这个报错return code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题，Ma
删除/修改元数据 修改或者删除ZooKeeper上Kafka的元数据可能导致Topic或者Kafka服务不可用。 请勿删除或者修改Kafka在ZooKeeper上保存的元数据信息。 修改元数据备份文件 修改Kafka元数据备份文件，并被使用进行Kafka元数据恢复成功后，可能导致Topic或者Kafka服务不可用。
权限管理 如果您需要对华为云上创建的MapReduce服务资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分
Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在几十TB级别或以下的
数据 Hive是否支持向量化查询 Hive表的HDFS目录被误删，但是元数据仍然存在，导致执行任务报错 如何关闭Hive客户端日志 为什么在Hive自定义配置中添加OBS快删目录后不生效 Hive配置类问题 父主题： 使用Hive
Hive是否支持向量化查询 Hive表的HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错 如何关闭Hive客户端日志 为什么在Hive自定义配置中添加OBS快删目录后不生效 Hive配置类问题 父主题： 使用Hive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
