检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。 父主题: 集群管理类
态资源、存储资源以及所关联的服务。 创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户 可配置待添加租户的计算资源、存储资源和关联服务。 添加子租户 可配置待添加子租户的计算资源、存储资源和关联服务。 添加用户并绑定租户的角色
在VPC上创建一个弹性公网IP地址,并在VPC控制台上找到MRS集群的子网,然后找到Presto的浮动IP,并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问,然后测试(以非安全集群为例,catalog为hive)。 父主题: 使用Presto
0及之前版本集群中的组件不可以删除,如果不使用的话可以登录Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件,具体请参见管理服务操作。 父主题: 组件管理类
登录MRS管理控制台,在导航栏选择“数据连接”。 在数据连接列表的单击待查看的数据连接名称,在弹出的页面查看该数据连接的详细信息。 例如查看RDS服务MySQL数据库数据连接信息如下: 图1 查看RDS服务MySQL数据库数据连接信息 删除数据连接 登录MRS管理控制台,在导航栏选择“数据连接”。 在数据连接列表的
ess配置项,添加DBService浮动IP到ListenAdress或者注释掉ListenAdress配置项。 执行如下命令重启sshd服务。 service sshd restart 观察下次备份DBServie是否备份成功。 父主题: 使用DBservice
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect
10补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的,因此用户需要提前做好规划
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的,因此用户需要提前做好规划
定位事件的详细信息。 MRS集群常见事件列表 表3 常见事件列表 事件ID 事件名称 12019 停止服务 12020 删除服务 12021 停止实例 12022 删除实例 12023 删除节点 12024 重启服务 12025 重启实例 12026 Manager主备倒换 12065 进程重新启动
是WKT的二进制表示形式,解决了WKT表达方式冗余的问题,便于传输和在数据库中存储相同的信息。 GeoJSON 一种JSON格式的Feature信息输出格式,它便于被JavaScript等脚本语言处理,OpenLayers等地理库便是采用GeoJSON格式。此外,TopoJSON等更精简的扩展格式。
一致。 选择“集群 > 服务 > Hive > 配置 > 全部配置”,搜索“maxConnectionsPerPartition”,检查是否小于100。 是,修改参数为100,单击“保存”,执行8。 否,执行8。 若以上步骤有修改参数,选择“集群 > 服务 > Hive > 概览”,选择“更多
MapReduce开发指南(普通模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
MapReduce开发指南(安全模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
Presto开发指南 Presto应用开发概述 准备Presto应用开发环境 开发Presto应用 调测Presto应用 Presto应用开发常见问题
使用Hue(MRS 3.x及之后版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 创建Hue操作任务 使用Hue WebUI典型场景 Hue常用配置参数 Hue日志介绍 Hue常见问题
ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题: 使用ClickHouse
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下,普通用户无法登录Spark客户端 安装使用集群外客户端时,连接集群端口失败 Datasource Avro格式查询异常 通过Spa
MRS集群安全加固 MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容