检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果不开启Kerberos认证,MRS集群能否支持访问权限细分? MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS 2.1.0及之前版本:在MRS
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码,需要完成下面的操作。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。 在客户端机器的命令行终端
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码,需要完成下面的操作。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。 在客户端机器的命令行终端
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题: 使用Oozie
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
在Hue WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 Metastore管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 选择“Data Browsers > Metastore Tables”,进入“Metastore
服务 > HetuEngine > 实例”。 单击“HSBroker”行的“主机名称”,记录“基本信息”下的“管理IP”的地址。 以omm用户通过25获取的IP地址登录HSBroker所在的主机。 执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Yarn
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
ALM-12053 主机文件句柄使用率超过阈值 ALM-12054 证书文件失效 ALM-12055 证书文件即将过期 ALM-12057 元数据未配置周期备份到第三方服务器的任务 ALM-12061 进程使用率超过阈值 ALM-12062 OMS参数配置同集群规模不匹配 ALM-12063
test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址,并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务,传入“nonS
本章节适用于MRS 3.3.1及以后版本。 使用场景 使用FlinkSQL时支持设置行级别过滤条件,可以使指定用户只能访问授权过的行,隐藏未授权的行数据。 前提条件 集群已启用Kerberos认证(安全模式),已安装Ranger、Hive、Flink等服务且服务运行正常。 已创建
<UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime": "2014-11-06 10:28:34", "operationText":
新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 进入“扩容节点”窗口,单击“确认”。 页面右上角弹出扩容节点提交成功提示框。 集群扩容过程说明如下: 扩容
配置Flink认证和加密 安全认证 Flink整个系统存在三种认证方式: 使用kerberos认证:Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与H
Loader作业目的连接配置说明 基本介绍 Loader作业需要将数据保存到不同目的存储位置时,应该选择对应类型的目的连接,每种连接在该场景中需要配置连接的属性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。
配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下: DB2 Oracle 本章节适用于MRS 3.x及后续版本。
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载,并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。
config.file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。 配置参数