检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置在Spark对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置Spark任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Spark
添加Impala的Ranger访问权限策略 本章节仅适用于MRS 3.1.5及之后版本。 操作场景 在创建完安装了Ranger组件的MRS集群后,Hive/Impala的权限控制集成在Ranger中,由于Impala复用Hive的权限策略,本章节主要介绍Hive组件如何集成在Ranger
配置LDAP输出审计日志 用户可以通过设置LDAP服务的审计日志输出级别,将审计内容输出至系统日志信息中(如“/var/log/messages”),用于查看用户的活动信息及操作指令信息。 LDAP的审计日志开启后,会产生大量日志信息,严重影响集群性能,请谨慎开启。 该章节仅适用于
隔离MRS集群节点 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离
配置Spark动态脱敏 本章节仅适用于MRS 3.3.1-LTS及之后版本。 管理面提交作业方式不支持开启动态脱敏特性。 配置场景 Spark动态脱敏开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时,保障数据的隐私性
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上,有报错。 上传部分文件后,报错失败,从NameNode原生页面看,临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs/
ALM-50201 Doris服务不可用 告警解释 告警模块按60秒周期检测Doris服务状态,当检测到所有FE和BE实例异常时,系统产生此告警。 当系统检测到任意FE或BE实例恢复正常,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50201 紧急 是 告警参数 参数名称
Manager应用开发简介 本文档供需要以HTTP基本认证(Basic Authentication)方式访问FusionInsight Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API,REST API接口的执行方式是通过
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置
Impala客户端安装Python2 用户问题 运行Impala客户端会报类似如下错误信息: 原因分析 由于最新的MRS集群使用的是Euler 2.9及以上版本的操作系统,系统自带只Python3版本,而Impala客户端是基于Python2实现的,和Python3部分语法不兼容,
使用Flume服务端从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式
使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力,针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件
开启HBase Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicationID
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理? 出于安全考虑,MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。