检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本,登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 对于MRS 3.x之后版本,登录FusionInsight Manager,选择“集群
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
数据连接的名称。 LakeFormation实例 - 选择LakeFormation实例名称。 该实例需要先在LakeFormation实例创建后在此处引用,具体请参考创建LakeFormation实例。单击“查看LakeFormation实例”查看已创建的实例。 虚拟私有云 - 需要与待对接的MRS集群在同一虚拟私有云。
agency-MRS-to-OBS 保存服务配置,然后在FusionInsight Manager主页中选择“更多 > 重启配置过期的实例”,根据界面提示重启所有配置过期的服务实例。 如果需要通过MRS管理控制台提交作业,使用omm用户登录主OMS节点,执行以下命令刷新内置客户端配置: sh /opt/
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是,处理完毕。 否,执行12。 检查备集群HBase服务规模 对HBase集群扩容,增加节点,并在节点上增加RegionServer实例。然后执行步骤6 -步骤10,打开负载均衡功能并手动触发。
设置维护实例 设置计算实例为维护实例之后,维护实例会对物化视图推荐功能所推荐的物化视图SQL进行自动创建、刷新、删除等操作,所产生的自动化任务记录可在HetuEngine自动化任务页面查看,可参考查看HetuEngine物化视图自动化任务。 配置HetuEngine维护实例 启用物化视图改写能力
可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。
/tmp目录权限不对导致DBserver实例状态一直处于Restoring 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 查看“/var/log/Bigdata/dbservice/healthCheck/dbservice_processCheck
”。 参考表1配置相关参数。 表1 数据连接 参数 示例 说明 类型 - 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 newtest
处理对应问题,问题解决后等待10分钟,检查该告警是否恢复。 NTP不能正常同步,通常与系统防火墙有关:如果能关闭防火墙,建议尝试关闭防火墙后查看问题能否解决;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123端口未禁用(具体遵循各系统下防火墙配置策略)。 是,处理完毕。 否,执行3。 检查该节点NTP认
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是,处理完毕。 否,执行12。 检查备集群HBase服务规模 对HBase集群扩容,增加节点,并在节点上增加RegionServer实例。然后执行步骤6-步骤10,打开负载均衡功能并手动触发。
memory 配置DataNode用做HDFS缓存的最大内存。 FLUME_HEAPSIZE 配置每个flume实例能使用的最大JVM内存。 IMPALAD_MEM_LIMIT 配置impalad实例可使用的最大内存。 添加自定义资源配置组。 是否需要根据时间自动调整资源配置? 是,执行3
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory
开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。 表1 对接参数 参数 示例 参数说明 版本 V3 SNMP协议版本号,取值范围: V2C:低版本,安全性较低。
UI”后的链接,进入HSConsole界面。 在“计算实例”页签,展开对应租户下的实例,单击计算实例“WebUI”列的“LINK”,查看所有任务的运行情况。 查看正在运行的任务个数是否过大(超过50)。 是,执行10。 否,执行12。 联系业务侧根据实际情况调整业务提交方式,或者增加计算实例资源。 等待5-10分钟,查看告警是否消失。
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务,或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时,表示这些服务的配置参数值未同步且未生效,集群管理员可以对集群执行同步配置功能,并在同步配置后重启相关服务实例,使所有服务启用新的配置参数。 前提条件