检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
使用Capacity调度器集群请参考表4为子租户配置属性。 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler
testSingleColumnValueFilter."); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。 例如,如下示例中的用法当前不支持: Scan scan = new Scan(); filterList = new
testSingleColumnValueFilter."); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。 例如,如下示例中的用法当前不支持: Scan scan = new Scan(); filterList = new
log”。 jar包运行结果如下: 2023-09-21 09:08:38,944 | INFO | main | loadBalancerIPList is 192.168.5.132, loadBalancerHttpPort is 21422, user is ck_user
HConnection实例,很容易达到ZooKeeper的连接数上限。 建议在整个客户端代码范围内,都共用同一个Configuration对象实例。 Table实例的创建 public abstract class TableOperationImpl { private static
Worker节点数量。 配置完成后将“立即启动”置为“是”,单击“确定”等待实例配置完成。 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群:执行以下命令认证用户
ENABLE:可使用状态 REFRESHING:正在刷新物化视图数据,不可用于改写 DISABLE:关闭使用 仅支持ENABLE和SUSPEND相互转换,以及将DISABLE状态修改为SUSPEND或ENABLE 删除物化视图 删除mv.default.mv1的物化视图 drop materialized
名称。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系系统管理员,提升网口速率。
网口。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系系统管理员,提升网口速率。
控制台显示部分运行结果如下: 2023-09-19 16:20:48,344 | INFO | main | loadBalancerIPList is 192.168.5.132, loadBalancerHttpPort is 21422, user is ck_user
控制台显示部分运行结果如下: 2023-09-19 16:20:48,344 | INFO | main | loadBalancerIPList is 192.168.5.132, loadBalancerHttpPort is 21422, user is ck_user
集群信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的
Spark客户端配置文件(例如:客户端目录为“/opt/client”,具体以实际为准): 以root用户登录Spark客户端所在的节点,切换到客户端安装目录。 cd /opt/client 执行以下命令修改Spark客户端配置文件目录下的“hive-site.xml”。 vi
s Denied的错误。 问题现象 报错如下: CREATE SCHEMA hive.sf2 WITH (location = 'obs://obs-zy1234/sf2');Query 20200224_031203_00002_g6gzy failed: Access Denied:
集群退订后,资源和数据将会被删除并且无法找回,请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS(存算分离或者冷热分离场景),若需要删除组件或者MRS集群,需要在删除组件或者集群后,手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
nv MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传CSV中的文件到HDFS的“/data”目录:
MRS大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能 MRS 1.8.10.3 修复问题列表: MRS Manager 解决磁盘IO使用率一直不变问题