检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源。 父主题: 查看MRS集群日志
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
CLIENT_GC_OPTS="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 如何设置Yarn客户端运行时的日志级别? Yarn客户端运行时的日志是默认输出到Console控制台的,其级别默认是INFO级别。有的时候为了
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系网络管理员,提升网口速率。
/预留资源。 默认资源池容量 (%) 配置当前租户在默认资源池中使用的计算资源百分比,取值范围0~100%。 权重 资源分配权重,取值范围从0到100。 最小资源 保证租户资源能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时,资源会自动借
有了统计信息后,就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种,可以直观的描述列数据的分布情况,将列的数据从最小值到最大值划分为事先指定数量的槽位(bin),计算各个槽位的上下界的值,使得全部数据都确定槽位后,所有槽位中的数据数量相同(等高直方图)
有了统计信息后,就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种,可以直观的描述列数据的分布情况,将列的数据从最小值到最大值划分为事先指定数量的槽位(bin),计算各个槽位的上下界的值,使得全部数据都确定槽位后,所有槽位中的数据数量相同(等高直方图)
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系网络管理员,提升网口速率。
Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装
方法二: 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)。 登录主Master节点,主节点请参考如何确认MRS Manager的主备管理节点。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env /
安装集群客户端 安装包含HetuEngine服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 准备GBase驱动 从GBase官网获取GBase驱动文件,格式为“xxx.jar”,需为“gbase-connector-java-9.5.0.1-build1-bin
GetSplit的listStatus优化 适配hive submit job阶段的内存限制 Superior调度性能提升 物理资源感知特性 ORC合并文件时从文件中读取ORC列压缩属性 Hiveserver堆内存监控限制 大数据量场景,Hive分批加载元数据,提升Hiveserver容错能力 Hive支持Redis缓存连接失败重试
基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。 高级:需配置如下参数。 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对
第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等。 本章节主要介绍如何开通包年/包月MRS集群的自动续费功能,更多自动续费相关操作请参见自动续费。 前提条件 请确认包年/包月MRS集群还未到期。 在购买MRS集群页面开通自动续费
GC_OPTS_YARN="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 问题二:如何设置Yarn客户端运行时的日志级别? Yarn客户端运行时的日志默认输出到Console控制台,其级别默认为INFO级别。有时为了定位问题
uce、Kafka、Hive、HBase、Spark、Presto以及相关依赖服务。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 1.9.3.8打补丁升级到MRS 1.9.3.9,需要重启MRS 1.9.3.9补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。