检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
击关闭指标共享,再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.2.0-LTS.1.9补丁说明
击关闭指标共享,再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.2.0-LTS.1.8补丁说明
个单词的记录总数的功能。 Spark Streaming样例工程的数据存储在Kafka组件中,向Kafka组件发送数据。 MRS服务提供了Spark服务多种场景下的样例开发工程,本章节对应示例场景的开发思路: 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。
对开启了Kerberos认证的MRS集群,程序需要向服务端进行用户认证,在本示例程序中,通过代码配置认证信息,“userPrincipal”为用于认证的用户名,“userKeytabPath”和“krb5ConfPath”需要修改为该文件所在客户端服务器的实际路径。 确认工程内的参数无误后,
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
rollback_package.sh 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
非安全模式:true 是 zookeeper.sasl.service-name 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。 如果客户端和服务端的服务名不一致,认证会失败。 zookeeper 是 Environment 表11 Environment参数说明
MRS集群,针对Core、Task类型节点的磁盘存在硬件故障。 Kafka组件不支持更换磁盘,如果存储Kafka数据的节点故障,请联系华为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多
升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点,执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请
Unique模型针对需要唯一主键约束的场景,可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户,推荐使用自1.2版本加入的写时合并实现。 Unique模型仅支持整行更新,如果用户既需要唯一主键约束,又需要更新部分列(例如将多张源表导入到一张Doris表的
准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的主机操作系统选择“EulerOS”,版本请根据需要选择。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
图解MapReduce服务
MySQL数据库引擎参数说明: host:port:RDS服务MySQL数据库实例IP地址和端口。 database:RDS服务MySQL数据库名。 user:RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
目录,在客户端机器的命令行终端执行以下命令: python setup.py install 如下内容表示安装setuptools的5.7版本成功。 Finished processing dependencies for setuptools==5.7 安装Python客户端到客户端机器。
读取等操作。 创建MRS Hive集群 购买一个包含有Hive组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例,组件包含Hadoop、Hive组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用开发配置文件
sftp-connector Sftp服务器的IP SFTP服务器的IP地址。 Sftp服务器端口 SFTP服务器的端口号。 Sftp用户名 访问SFTP服务器的用户名。 Sftp密码 访问SFTP服务器的密码。 Sftp公钥 Sftp服务器公钥。 oracle-partition-connector
非安全模式:true 是 zookeeper.sasl.service-name 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。 如果客户端和服务端的服务名不一致,认证会失败。 zookeeper 是 Environment 表11 Environment参数说明