检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
K/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见AK/SK签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs.huaweicloud
能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程
Manager,选择“系统设置 > 用户管理”,检查互信集群B的用户,是否在A集群中已存在相同名字用户。 是,执行2。 否,执行3。 单击用户名左侧的 展开用户的详细信息,检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如,集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限,然后执行4。
kHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。 前提条件 已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。
能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群
S相关的基础知识,包含MRS各组件的基本原理和增强特性介绍,以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门》提供了样例的详细操作指导,您可以基于此操作指导,创建和使用MRS集群。 使用更多的功能,并查看其相关操作指导
保存。 动态存储策略 为HDFS目录设置规则,系统可以根据文件的最近访问时间、最近修改时间自动修改存储策略、修改文件副本数、移动文件目录,详细的介绍请参见配置HDFS冷热数据迁移。 在Hue的WebUI界面设置动态存储策略之前,需先在Manager界面设置冷热数据迁移的CRON表达式,并启动自动冷热数据迁移特性。
I页面。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 访问开源组件Web页面 登录MRS Manager页面。 详细操作请参考访问MRS集群Manager。 参考表1访问对应站点。 表1 开源组件Web站点地址 站点类型 站点地址(MRS 3.x之前版本)
登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”中输入角色名字与描述。 配置资源权限,详细配置请参见表1。 表1 设置角色 任务场景 角色授权操作 设置HDFS管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”,勾选“集群管理操作权限”。
理”。 在用户组列表中,根据实际需要对用户组执行以下操作。 查看用户组信息:用户组列表默认显示所有用户组。单击指定用户组名称左侧的箭头展开详细信息,可以查看此用户组中的用户数、用户以及绑定的角色。 修改用户组信息:在要修改信息用户组所在的行,单击“修改”,修改用户组信息。 导出用
6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,要求5.0之后版本。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 准备Python3开发环境 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。
6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 准备Python3开发环境 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 方法二:使用本机访问MRS集群操作Hive。在安装开
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群
将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。 MapReduce结构 如图2所示,MapReduce通过实现YARN的Client和ApplicationMaster接口集成到YARN中,利用YARN申请计算所需资源。
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef | grep
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
xml”,配置方式参考使用Hue提交Oozie Hive2作业。 单击Oozie编辑器右上角的。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
xml”,配置方式参考使用Hue提交Oozie Hive2作业。 单击Oozie编辑器右上角的。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业