检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。 退出安全模式后启动，hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失
如何重置或修改Manager（admin）密码？ 已知旧密码修改admin密码请参考修改admin密码 忘记旧密码重置admin密码请参考修改组件运行用户密码 父主题： 账号密码类
$6}' | grep :${HTTP_PORT} | grep LISTEN | wc -l)”。 保存如上修改，再在Manager页面上选择“服务管理 > Presto > 实例”，重启Coordinator进程。 父主题： 使用Presto
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，在“配置资源权限”中单击集群名称，确认可配置资源权限的组件。 选择“集群 > 服务”，查看可配置资源权限的组件的运行状态是否都为“良好”。 如果不为“良好”，请启动或者修复组件，直至状态为“良好”。 再次执行删除租户操作。
在VPC上创建一个弹性公网IP地址，并在VPC控制台上找到MRS集群的子网，然后找到Presto的浮动IP，并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问，然后测试（以非安全集群为例，catalog为hive）。 父主题： 使用Presto
MRS集群服务角色部署规则说明 MRS系统由多种服务按照一定的逻辑架构组合而成，每个服务包含一个或多个角色，每个角色可以部署一个或多个实例。 服务：服务对外表现为集群提供的组件业务能力，集群中的每个组件对应一个服务名，提供一种服务。 角色：角色是服务的组成要素，每个服务由一个或多
connection-user xxxx 数据库登录用户名 mysql.connection-password xxxx 数据库密码 重启Presto服务。 启用Kerberos认证的集群，执行以下命令连接本集群的Presto Server。 presto_cli.sh --krb5-config-path
DFS的JournalNode元数据。 dbdata_service DBService DBServer角色所在节点，DBService服务数据库目录。 iotdb/iotdbserver IoTDB系统元数据存储路径。 iotdb/confignode 存放IoTDB ConfigNode角色元数据。
MapReduce基本原理 如需使用MapReduce，请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程，在MRS中一般使用默认配置即可，无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空（默认值）
Hue对中文的处理存在混乱的情况，需要进行修正。 处理步骤 该方案仅适用于MRS 2.x及之前版本集群。 登录MRS Manager页面，选择“服务管理 > Hue > 实例”，查询Hue实例所在的节点的IP。 使用root用户远程连接工具登录Hue实例所在节点的机器，并执行如下命令切换到omm用户。
HDFS日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hdfs/*/hdfs-omm-*.out”日志文件过大，造成OS盘/var/log分区空间不足。 原因分析 在HDFS长时间运行场景下，操作系统会把JVM创建的“/tmp/
server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy，保存并重启受影响的服务或实例。 让DataNode根据磁盘剩余空间大小，优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。
20051，发现DBService的Gauss进程在启动时并未绑定floatip，只监测了127.0.0.1的本地IP。 解决办法 重新启动DBService服务。 启动完成之后在主DBServer节点执行netstat -anp | grep 20051命令检查是否绑定了dbservice.floatip。
击自定义“开始时间”和“结束时间”。 表1 日志检索参数 参数名 说明 检索内容 检索的关键字或正则表达式。 服务 选择所需查询日志的服务或模块。 文件 当且仅当选择服务中一个角色时，支持选择指定日志文件进行搜索。 最低日志级别 选择所需查询日志的最低日志级别，选择某一级别后会显示从本级别到更高日志级别的日志。
配置MRS集群用户私有属性 admin用户或绑定Manager_administrator角色的管理员用户，可以在Manager配置私有属性功能开关，用于支持用户（集群中所有业务用户）设置或取消自己的私有（Independent）属性。 开启私有属性开关后，需要业务用户登录后设置
MRS集群支持的外置数据连接类型为： 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”，且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”，且MySQL数据库版本为MySQL 5.7.x/MySQL
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
MRS集群中Spark任务支持哪些Python版本？ 问： MRS 3.1.0版本的集群，Spark任务支持哪些python版本？ 答： MRS 3.1.0版本的集群，Spark任务建议使用python2.7或3.x版本。 父主题： 组件配置类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
