检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 MRS服务集群开启了Kerberos认证需要执行该步骤,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager,请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”,如图 1 添加角色所示。
分布式在Session内部做了缓存,实现客户端时避免每次读写都新建Session,或者使用SessionPool进行复用连接。 查询结果集ResultSet、SessionDataSet使用完成后注意关闭 查询结果集ResultSet、SessionDataSet使用完成后需要关闭,否则会造成服务资源浪费。 父主题:
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题: 使用HBase
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
MRS使用Kerberos进行统一认证。 用户权限校验流程大致如下: 客户端(用户终端或MRS组件服务)调用MRS认证接口。 MRS使用登录用户名和密码,到Kerberos进行认证。 如果认证成功,客户端会发起访问服务端(MRS组件服务)的请求。 服务端会根据登录的用户,找到其属于的用户组和角色。 服务端获
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0 运维通道补丁说明
1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,因为历史的segments不是按照新的SORT_COLUMNS。 不支持UNSET命令,但是可以使用set
擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 在计算引擎上直接查询这个表里的数据。 在本开发程序示例中,为了不引入额外的计算引擎,将以Kudu为主,全部通过Java API接口来进行描述: 建立Kudu连接
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时,不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例: select * from default.tbl_src where id = 10001; select
过32个角色,开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。查询ACL权限时,将显示合并后的结果,与开启该功能前的显示会有区别。此操作不可逆,请充分考虑实际应用场景,再决定是否做出调整。 如果当前组件使
以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签
卸载补丁后操作 重新打开弹性伸缩功能 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
集群管理接口 创建集群 修改集群名称 创建集群并提交作业 扩容集群 缩容集群 集群添加组件 查询集群节点列表 父主题: API V2
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
Doris应用开发规范 Doris建表规范 Doris数据变更规范 Doris命名规范 Doris数据查询规范 Doris数据导入规范 Doris UDF开发规范 Doris连接运行规范
产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 内存使用过高,部分查询任务可能因为内存不足而失败。 可能原因 该节点实例内存使用率过大,或配置的内存不合理。 处理步骤 在FusionInsight Manager首页,选择“运维