检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Manager组件状态说明 指标项 状态 描述 运行状态 良好 表示组件当前运行正常。 故障 表示组件当前无法正常工作。 亚健康 表示组件部分增强功能无法正常工作。 未启动 表示组件已停止。 未知 表示组件的初始状态信息无法检测。 正在启动 表示组件正在执行启动过程。 正在停止 表示组件正在执行停止过程。
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托完成。 创建LakeFormation数据连接 创建LakeFormation数据连接的功能,需要联系技术支持申请开通白名单。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数,单击“确定”完成创建。
NONE之外的级别,则无法改变。 如果想要将RDD去持久化,那么可以调用unpersist(blocking:Boolean = true),该函数功能如下: 将该RDD从持久化列表中移除,RDD对应的数据进入可回收状态; 将RDD的存储级别重新设置为StorageLevel.NONE。 慎重选择shuffle过程的算子
执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。 beeline Hudi表查询。 Copy On Write类型Hudi表查询
apache.hadoop.hive.ql.security.SessionStateUserGroupAuthenticator”。 如果开启了ZooKeeper SSL,需要在上传后HDFS的“/user/developuser/myjobs/apps/spark2x”目录下的“hbase-site
顺序(Offset)的序列化编号。 图1 Kafka结构 约束与限制 创建并购买一个包含Kafka组件的MRS 3.1.0版本集群,集群未开启Kerberos认证,详情可参考创建MRS集群。 安装MRS集群客户端,具体请参考安装客户端。 步骤一:配置Kafka Eagle对接MRS参数
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托完成。 创建LakeFormation数据连接 创建LakeFormation数据连接的功能,需要联系技术支持申请开通白名单。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数,单击“确定”完成创建。
文件夹或文件,可填写多个值,支持使用通配符“*”(例如“/test/*”)。 如需子目录继承上级目录权限,可打开递归开关按钮。 如果父目录开启递归,同时子目录也配置了策略,则子目录同时拥有父目录和子目录的策略;如果父目录与子目录的策略相悖,则以子目录策略为准。 non-recursive:关闭递归
apache.hadoop.hive.ql.security.SessionStateUserGroupAuthenticator”。 如果开启了ZooKeeper SSL,需要在上传后HDFS的“/user/developuser/myjobs/apps/spark2x”目录下的“hbase-site
java”工程,单击运行对应的应用程序工程。或者右键工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件
解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表: MRS Manager MRS Manager优化保存配置时的服务重启过程
Flink HBase样例程序(Java) 功能介绍 通过调用Flink API读写HBase数据。 代码样例 下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com
批量删除集群标签 功能介绍 为指定集群批量删除标签。 一个集群上最多有20个标签。 此接口为幂等接口: 删除时,如果删除的标签不存在,默认处理成功,删除时不对标签字符集范围做校验。Key长度为128个字符,value为255个字符。删除时tags结构体不能缺失,key不能为空,或者空字符串。
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
查询SQL结果 功能介绍 在MRS集群中查询一条SQL的执行结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} 表1 路径参数 参数 是否必选
创建数据连接 功能介绍 创建数据连接 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
查询用户(组)与IAM委托的映射关系 功能介绍 获取用户(组)与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
Flink HBase样例程序(Java) 功能介绍 通过调用Flink API读写HBase数据。 代码样例 下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com