检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增并执行作业 功能介绍 在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,然后再通过该接口提交作业。 如需使用OBS加密功能,请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密
Hive集群并配置 创建MRS集群,详细操作请参考快速购买MRS集群。其中: 集群名称:自定义,例如“mrs_test” 版本类型:LTS版 集群版本:MRS 3.3.0-LTS 集群组件包含:Hive等。 Kerberos认证:开启 其他参数根据实际需要进行配置。 集群购买完成
填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 MRS 3.1.0和MRS 3.1.2版本选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。可在备集群HDFS服
开启HBase Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher端默认开启了该特性。
创建集群 功能介绍 创建一个MRS集群。使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束 无 调用方法 请参见如何调用API。 URI
户、安装客户端。 创建MRS集群,详细操作请参考自定义购买MRS集群。其中: 集群名称:自定义,例如“mrs_test” 版本类型:LTS版 集群版本:MRS 3.3.0-LTS 集群组件包含:Hive、Spark等。 “虚拟私有云”和“安全组”需要与已创建的DataArts Studio实例保持一致。
查询集群列表 功能介绍 查看用户创建的集群列表信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
是举例,请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
是举例,请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
调整集群节点 功能介绍 创建集群后,扩容/缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。该接口不兼容Sahara。处于running状态的集群才允许扩容/缩容,其他状态则不允许扩容/缩容。 集群状态和集群ID可参考查询集群列表接口获取。
该文件中不存在hadoop本端域名映射关系,例如: xxx hadoop.example.com。(仅适用于MRS 3.2.0-LTS.1.10版本) /etc/ssh/sshd_config检查文件的检查标准 通过命令vi /etc/ssh/sshd_config查看下面几个配置项是否正确。
问题。 解决Hue服务不可用告警误报问题。 补丁兼容关系 MRS 3.2.0-LTS.1.9补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 父主题: MRS 3.2.0-LTS.1.9补丁说明
解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.6补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.6补丁期间会重启MRS Manager,滚动重启Hadoop、Hive
数据价值。 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。 创建MRS集群:自定义创建一个MRS 3.2.0-LTS.1版本的“HBase查询集群”。 安装集群客户端:下载并安装MRS集群客户端。 使用HBase客户端创建表:在HBase客户端创建表、插入表数据、查询表数据及删除表。
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
步骤1:创建MRS集群 创建一个包含有IoTDB组件的MRS集群,详情请参见购买自定义集群。 本文以自定义购买的MRS 3.3.0-LTS.1版本的集群为例,集群已开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。
MRS_hbase 集群类型 提供几种集群类型: 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型: 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。 MRS 3.1.0 组件选择 MRS集群配套的组件,MRS不同版本集群支持的组件版本请参见MRS组件版本一览表。
ckHouse用户及权限管理章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export CLICKHOUSE_SECURITY_ENABLED=true kinit 组件业务用户 例如,kinit
配置Doris对接Hive数据源 通过连接Hive Metastore,或者兼容Hive Metatore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除Hive外,很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalo
解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.7补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.7补丁期间会重启MRS Manager,滚动重启Hadoop、Hive