检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
0.0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行验证(如图2所示),避免误操作带来的风险和损失。 图2 身份验证 父主题: 安全
版本支持公告 MRS集群版本生命周期
可实现使用Python对接Hive并提交数据分析任务。 python3-examples 使用Python3连接Hive执行SQL样例。 可实现使用Python3对接Hive并提交数据分析任务。 IoTDB iotdb-examples iotdb-flink-example
与Hadoop集成:Spark能够直接运行于Hadoop的集群,并且能够直接读取现存的Hadoop数据。 MRS服务的Spark组件具有以下优势: MRS服务的Spark Streaming组件支持数据实时处理能力而非定时触发。 MRS服务的Spark组件支持Structured Streaming,支持DataSet
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
以在集群内节点安装客户端为例: 登录Manager,在“主页”单击“下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
--value true。 属性类别 子属性 含义 server -h,--host 服务IP地址 -p,--port 服务端口 -w,--webapp Tomcat应用名 -u,--url Sqoop服务URL option verbose 冗余模式,表示打印更多的信息 poll-timeout
Hive服务启动失败 Hive服务启动失败最常见的原因是metastore实例无法连接上DBservice,可以查看metastore日志中具体的错误信息。 可能原因 DBservice没有初始化好Hive的元数据库hivemeta。 DBservice的浮动IP配置有误,导致m
重启Hive服务失败 用户问题 修改Hive服务配置后,保存配置失败,Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
Spark连接其他服务认证问题 问题现象 Spark连接HBase,报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据。 问题2:Spar
thon的Hive样例程序。 hive-examples/python3-examples 使用Python3连接Hive执行SQL样例。 可实现使用Python3对接Hive并提交数据分析任务,相关样例介绍请参见基于Python3的Hive样例程序。 父主题: Hive应用开发概述
Manager(MRS 3.x及之后版本)。 以rangeradmin用户登录Ranger WebUI界面。 选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 在Ranger W
修改OMS服务配置 根据用户环境的安全要求,管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 本章节仅适用于MRS 3.x及以后版本。 修改OMS服务配置对系统的影响 修改OMS的服务配置参数后,需要重启对应的OMS模块,此时FusionInsight
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
thon的Hive样例程序。 hive-examples/python3-examples 使用Python3连接Hive执行SQL样例。 可实现使用Python3对接Hive并提交数据分析任务,相关样例介绍请参见基于Python3的Hive样例程序。 父主题: Hive应用开发概述
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本,服务配置参数均支持登录MRS Manager进行修改: 登录MRS Manager。 单击“服务管理”。 单击服务视图中指定的服务名称。