检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“客户端类型”选择“完整客户端”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 查询并登录主Master节点。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
20”。 单击“保存”,保存配置。单击“实例”,勾选配置过期的BE实例,选择“更多 > 重启实例”,重启Doris BE实例。 在BE实例重启期间,运行在对应BE节点上的任务会失败,未进行重启的BE节点上的任务不受影响。 查看该告警是否清除。 是,处理完毕。 否,执行8。 收集故障信息。
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
登录DBService浮动IP所在主机,执行ifconfig interface down命令删除浮动IP地址。 单击“组件管理 > DBService > 更多 > 重启服务”重启DBService服务,检查是否启动成功。 是,执行1.i。 否,执行2.a。 等待约两分钟,查看告警列表中的DBService服务不可用告警是否恢复。
收集ClickHouse系统表转储日志 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 在日常使用ClickHouse时,如果出现一些异常故障,需要紧急重启恢复业务,在紧急重启之前,需要及时转储ClickHouse各系统表状态信息,用于问题定位,提升ClickHouse问题定位的效率。 针对不同的系统表
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
WebUI中显示状态为成功 问题现象 MRS 3.3.0-LTS版本集群,提交Spark Streaming任务后,由于NodeAgent重启导致对应节点上任务失败,但是在Yarn WebUI页面中查看整个任务状态为“succeeded”。 原因分析 Spark AM退出时,因为服务配置参数“spark
Manager页面,单击“实例”,选择ClickHouseServer实例,单击“更多 > 重启实例 ”,弹出对话框输入密码,单击“确定”。重启实例对话框,单击“确定”,根据界面提示信息确认实例重启成功,单击“完成”重启操作完成。 登录ClickHouseServer实例所在主机节点,进入“${
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。
Manager页面,单击“实例”,选择ClickHouseServer实例,单击“更多 > 重启实例 ”,弹出对话框输入密码,单击“确定”。重启实例对话框,单击“确定”,根据界面提示信息确认实例重启成功,单击“完成”重启操作完成。 登录ClickHouseServer实例所在主机节点,进入“${
参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 spark.authenticate 是否开启Spark内部安全认证。 安全模式:true
r支持配置多个FTP服务器操作数据,单击“添加”可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root
ckage patch success.”表示执行完成)。 ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件Cl
搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,如果不是,修改为“true”,并单击“保存”,重启HDFS。 查看代码。 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,如果不是,修改为“true”,并单击“保存”,重启HDFS。 查看代码。 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”,如果不是,修改为“true”,并单击“保存”,重启HDFS。 查看代码。 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块(HBase FileStream,简称HFS)是HBase的独立模块,它作为对HBase与HDFS接口的封装,应用在MRS的上层应用,为上层应用提供文件的存储、读取、删除等功能。