检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目,然后使用企业项目管理对MRS上的资源进行分组管理: 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息,包括订单、消费汇总、消费明细等。
获取项目ID 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开
群日常运维管理由用户负责,如果在大数据集群运维过程中遇到了相关技术问题,可以联系技术支持团队获得帮助,该技术支持仅协助分析处理MRS云服务相关求助,不包含云服务以外的求助,例如用户基于大数据平台构建的应用系统等。 技术支持范围 支持的服务 MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容
数据保护技术 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据,
在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 IAM用户已同步完成
HDFS与其他组件的关系 HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志
当作业提交后未执行完成时,手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 已获取作业ID,即作
ache的Hadoop项目的子项目,它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时,会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与Tez的关系 Tez是Apache的开源项目,它是一个支持有向无环
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 商用 Ranger简介 2 MRS支持Alluxio组件 Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中,Alluxio
缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以扩容Core节点为例。
缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以缩容Core节点为例。
注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行: 将项目打成Jar包,如果使用Maven管理项目,可参考以下章节的“构建Jar包”部分: 开启Kerberos认证的集群请参考注册UDF。 关闭Kerberos认证的集群请参考注册UDF。
在集群“概览”页单击“IAM用户同步”右侧的“同步”。 退服或者隔离节点。 目前仅以下版本集群支持退订包周期集群指定节点,其他版本集群请联系技术支持处理。 MRS 2.1.0(需安装 2.1.0.5或之后版本的补丁) MRS 3.1.0(需安装 3.1.0.0.2或之后版本的补丁)
败。 原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。
安装客户端(2.x及之前版本) MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。
Project”,将该项目添加为Maven Project。若“pom.xml”图标如图9所示,可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示
C。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息,具体请参考终端节点。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已确定待创建集群的版本及版本支持的组件信息,请参见MRS组件版本一览表。 该示例创建出来的是按需购买的分析集群。 操作步骤
管理MRS集群节点 查看MRS集群节点运行状态 启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题: 管理MRS集群
服务端配置过期后更新MRS集群客户端 MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 针对MRS 2.x及之前版本集群,用户创建集