检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例
连接impala-shell失败 用户问题 用户连接impala-shell失败。 问题现象 用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后
添加Hive的Ranger访问权限策略: 使用Hive管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Ranger”,单击“Ranger WebUI”右侧的链接进入Ranger管理界面。 在首页中单击“HADOOP SQL”区域的组件插件名称,例如“Hive”。
topic-partition-discovery.interval”参数,设置值为动态刷新时间,如“5min”。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,执行以下命令查看Sink表中是否接收到数据,即5执行完成后查看Kafka topic是否正常写入数据。
注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行: 将项目打成Jar包,如果使用Maven管理项目,可参考以下章节的“构建Jar包”部分: 开启Kerberos认证的集群请参考注册UDF。 关闭Kerberos认证的集群请参考注册UDF。
数据源与HetuEngine集群节点网络互通。 集群已启用Kerberos认证(安全模式)创建HetuEngine管理员用户,集群未启用Kerberos认证(普通模式)创建HetuEngine业务用户,并为其赋予HDFS管理员权限,即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组,
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程 约束说明 MRS
配置集群节点信息。 Kerberos认证 开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2.d。
erver服务配置同步及重启成功。 选择“服务管理 > 更多 > 同步配置”,不勾选“重启配置过期的服务或实例”,单击“确定”,等待集群配置同步成功。 选择“服务管理 > 更多 > 停止集群”。待停止集群的操作生效后,选择“服务管理 > 更多 > 启动集群”,等待集群启动成功。 父主题:
Hive表开发建议 FlinkServer对接Hive时创建集群连接 以具有FlinkServer管理员权限的用户访问FlinkServer WebUI界面,选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中填写集群连接信息,单击“测试”,测试连接成功后单击“确定”,完成集群连接创建。
创建Hue操作任务 通过Hue执行HiveQL 通过Hue执行SparkSQL 通过Hue查看Hive元数据 通过Hue管理HDFS文件 通过Hue管理Oozie作业 通过Hue管理HBase表 通过Hue执行HetuEngine SQL 父主题: 使用Hue
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
Manager管理界面,选择“服务管理”,查看组件当前的运行状态是否满足要求(OMS、DBService要求状态正常,其他组件要求停止服务)。 是,执行7。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录MRS Manager管理界面,选择“告警管理”。在告警列
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。 访问StateStore WebUI 登录
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
对系统的影响 ommdba用户过期,OMS数据库无法管理,数据不能访问。 可能原因 该主机ommdba用户过期。 处理步骤 检查系统中ommdba用户是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令查看当前ommdba用户密码设置信息。
并添加HSFabric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群中创建HetuEngine管理员“人机”用户,如hetu_user,可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_use
进入FlinkServer界面后,选择 “作业管理 > 新建作业”,在新建作业界面配置以下参数填,并单击“确定”,进入作业管理界: 类型:选择“Flink SQL”。 名称:填写作业名称,例如:FlinkSQL1。 在Flink作业管理界面创建流或批的Flink SQL作业,例如: