检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra
MRS集群阈值类告警配置说明 应用场景 MRS集群提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态。 MRS支持配置监控指标阈值用于关注各指标的健康情况,如果出现异常的数据并满足预设条件后,系统将会触发告警信息,并在告警页面中出现此告警信息。
ALM-12001 审计日志转储失败(2.x及以前版本) 告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”,不同的Manager系
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>""} 为已经存在的表设置冷热分离,或者修改冷热分离分界线,单位为秒,可实现数据热存储转为冷存储或冷存储转为热存储,例如: 将热存储数据转为冷存储数据: 将写入到hot_cold_table表的f列的超过一天(86400秒)的数据归档到冷存储中:
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
配置ClickHouse通过用户密码对接Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse通过用户名和密码的方式连接Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为安全模式(开启Kerberos认证)。
准备Presto应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 建议JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
配置ClickHouse对接普通模式Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse连接普通模式的Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为普通模式(关闭Kerberos认证)。 已创建Cl
准备Alluxio应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 建议JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
endpoint=获取AK/SK和Endpoint信息准备的Endpoint; spark-beeline spark-beeline也可以通过在Manager中配置服务参数实现访问OBS。操作如下: 登录服务配置页面。 针对MRS 3.x之前版本,登录集群详情页面,选择“组件管理 > Spark > 服务配置”。
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
克隆MRS集群作业 本章节介绍如何克隆作业列表中的作业。 用户每次只能克隆1个作业,单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数,而是合并显示为命令参考。 DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。