检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览
MRS集群节点规格升级异常 问题现象 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况,现象如下: 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步,可在组件管理观察到存在异常角色。 若未同步,可在
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。当该选项
ClickHouse多租户介绍 本章节内容仅适用于MRS 3.2.0及之后版本。 ClickHouse多租户介绍 ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型,使用户拥有对集群资源的管理能力,目前支持内存和CPU优先级管理。多租户设计模型如下图所示:
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
Doris集群高可用方案概述 支持MySQL协议的客户端通过FE与Doris集群建立连接,为了防止单点故障通常需要部署多个FE节点,并在多个FE上部署负载均衡来实现Doris的高可用。 根据不同业务的使用场景,可以选择如下的方式配置Doris高可用功能: 业务侧代码实现 SDK ELB负载均衡
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServ
String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java
配置ClickHouse元数据预先缓存到内存 本章节适用于MRS 3.3.1-LTS及之后版本。 操作场景 在业务表数量以及表数据量比较大的场景下,滚动重启过程中加载元数据比较耗时,可通过RocksDB将元数据预先缓存到内存,从而提高元数据的加载效率。 开启表元数据预先缓存能力
Doris多租户监控告警介绍 Doris多租户基于内核Workload Group资源软限制方案实现,Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用,所以租户没有整体资源池的概念,而是在执行查询任务时,动态的在各个BE节点上进行资源分配。
配置创建Hive内部表时不能指定Location “hive.internaltable.notallowlocation”参数可用于限制在创建Hive内部表时不能指定Location。即表创建成功之后,表的Location路径会被创建在当前默认warehouse目录下,不能被指
配置Drop Partition命令支持批量删除 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 当前Spark中Drop Partition命令只支持等号来删除分区,配置该参数后可以支持多种过滤条件来批量删除,如'<','<=','>','>=','!>','!<'。 配置参数
创建ClickHouse租户 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 集群管理员通过FusionInsight Manager页面可以创建ClickHouse租户,并关联逻辑集群。系统用户绑定该租户后,则拥有该租户的逻辑集群相关权限。 创建ClickHouse租户
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
terX。 设置系统的环境变量说明 Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下:
ple样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
ht Manager,修改该用户初始密码。 配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。 登录FusionInsight Manager,在“主页”右上