检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目，然后使用企业项目管理对MRS上的资源进行分组管理： 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息，包括订单、消费汇总、消费明细等。
获取项目ID 从控制台获取项目ID 在调用接口的时候，部分URL中需要填入项目编号（project_id），所以需要获取到项目编号。项目编号获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时，展开
在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 IAM用户已同步完成
价值。 表1 ClickHouse设计规范说明 项目 描述 数据库规划 集群业务规划、容量规划、数据分布。 数据库设计 Database设计、宽表设计、分布式表设计、本地表设计、分区设计、索引设计、物化视图设计。 数据库开发 简单查询、聚合查询、join查询、数据增/删/改等SQL开发。
一样的（cow表只用parquet文件存数据）。 对于mor表，仅访问基本文件，提供给定文件片自上次执行compact操作以来的数据， 可简单理解为该视图只会提供mor表parquet文件存储的数据，log文件里面的数据将被忽略。 该视图数据并不一定是最新的，但是mor表一旦完成
当作业提交后未执行完成时，手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 已获取作业ID，即作
缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以扩容Core节点为例。
败。 原因分析 用户MRS集群选的是企业项目A（包含MRS FULLACCESS和ECS FULLACCESS权限）。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。
注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行： 将项目打成Jar包，如果使用Maven管理项目，可参考以下章节的“构建Jar包”部分： 开启Kerberos认证的集群请参考注册UDF。 关闭Kerberos认证的集群请参考注册UDF。
Project”，将该项目添加为Maven Project。若“pom.xml”图标如图9所示，可直接进行下一步骤操作。 图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示
ache的Hadoop项目的子项目，它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时，会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与Tez的关系 Tez是Apache的开源项目，它是一个支持有向无环
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托，ECS或BMS云服务
缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以缩容Core节点为例。
HDFS与其他组件的关系 HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志
构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spa
大的文件也不适合直接保存到HBase中。 HFS的出现，就是为了解决需要在Hadoop中存储海量小文件，同时也要存储一些大文件的混合场景。简单来说，就是在HBase表中，需要存放大量的小文件（10MB以下），同时又需要存放一些比较大的文件（10MB以上）。 HFS为以上场景提供了
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客
“数据连接类型”为“Kafka”时，认证类型不支持“KERBEROS”。 可视化开发平台：支持自定义输入/输出映射表，满足不同输入来源、不同输出目标端的需求。 图形化作业管理：简单易用。 Flink WebUI关键能力 Flink WebUI关键能力如表1： 表1 Flink WebUI关键能力 关键能力分类 描述 批流一体
C。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息，具体请参考终端节点。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已确定待创建集群的版本及版本支持的组件信息，请参见MRS组件版本一览表。 该示例创建出来的是按需购买的分析集群。 操作步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
