检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm Flux开发指引 操作场景 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架,用户可以使用yaml文件来定义和部署拓扑,并且最终通过storm
iptlog/backup.log,其实备份已经成功,只是上传至OMS节点时失败。 失败原因是由于ssh不通。 解决办法 网络问题,联系网络工程师处理。 网络问题解决之后重新备份即可。 父主题: 使用DBservice
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
Flux开发指引 操作场景 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架,用户可以使用yaml文件来定义和部署拓扑,并且最终通过storm
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.7修复问题列表: 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。
IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 问题 IntelliJ IDEA中远程提交拓扑,执行Main方法时IntelliJ IDEA报如下错 : Command line is too long. Shorten
配置Storm业务用户密码策略 操作场景 本章节内容适用于MRS 3.x及后续版本。 使用Storm业务用户提交一个拓扑以后,该任务需要使用提交拓扑的用户身份持续运行。在拓扑运行的过程中,worker进程可能需要正常重启以保持拓扑工作。若业务用户的密码被修改,或密码使用天数超过了
名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 问题 IntelliJ IDEA中远程提交拓扑,执行Main方法时IntelliJ IDEA报如下错 : Command line is too long. Shorten
MRS集群节点所归属的虚拟私有云网络(VPC),如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云(VPC)网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 通过子网提供与其他网络隔离的、可以独
log 在日志中搜索关键字“slow”,确认发生慢操作的上下游节点信息。 检查当前节点与10中获取的节点之间的网络通信是否通畅。 是,执行13。 否,联系网络管理员修复网络。 等待5分钟,检查该告警是否恢复。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight
实例:根据实际需求选择对应的规格类型。 操作系统:根据实际需求选择操作系统,例如选择公共镜像“Huawei Cloud EulerOS”的“Huawei Cloud EulerOS 2.0 标准版 64位(10GiB)”。 网络:“虚拟私有云”与MRS集群保持一致。 安全组:与MRS集群的安全组保持一致。
QL语言自动转换成MapReduce任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 图1 Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行2。 否,执行1.e。 联系网络管理员查看是否为网络故障。 是,执行1.f。 否,执行2。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置
sight Manager,修改该用户初始密码。 配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。 登录FusionInsight Manager,在“主页
安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络(按节点组统计) HDFS Yarn - - 磁盘信息(数据盘大小、磁盘IO、当前磁盘使用率和IO情况) 网络(网卡带宽大小、网络读写速度和峰值) NameNode DataNode JournalNode