检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
ARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。
没有/tmp目录权限导致执行访问OBS的作业报错 问题现象 在使用MRS多用户访问OBS的场景中,执行Spark、Hive、Presto等作业时,出现“/tmp”目录没有权限的报错。 问题原因 作业执行过程中有临时目录,提交作业的用户对临时目录没有操作权限。 解决方法 在集群“概
ALM-12172 指标上报CES失败 告警解释 集群开启指标共享后,controller周期性的收集集群指标信息并上报到CES。 告警属性 告警ID 告警级别 是否自动清除 12172 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称
其他参数根据实际需要进行配置。 为集群添加拥有OBS权限的委托。 创建具有访问OBS权限的ECS委托,详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。(如果已存在可用的OBS权限委托,则跳过该步骤) 在MRS
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
高级配置参数中要为MRS集群绑定IAM权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择“MRS_ECS_DEFAULT_AGENCY”,也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后,在MRS集群的任一节点内,使
<系统域名> 系统随机生成 ZooKeeper系统启动用户。 zkcli/hadoop.<系统域名> 系统随机生成 登录Zookeeper服务器用户。 oozie 系统随机生成 Oozie系统启动与Kerberos认证用户。 kafka/hadoop.<系统域名> 系统随机生成 用于Kafka安全认证。
id String 参数解释: 虚拟机ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 name String 参数解释: 虚拟机名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 ip String 参数解释: 虚拟机IP地址。 约束限制: 不涉及
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时,提示用户无权限“User do not have right to access cluster”。
解决主机/服务/实例增删等操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM的问题 解决屏蔽元数据未配置周期备份到第三方服务器的任务告警不生效的问题 解决开启日志收集,导致tmp目录磁盘空间占满的问题 解决取消隔离后Kafka存储路径配置改变的问题 解决弹性伸缩过
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证通用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息
out)文件排查。 如下异常: Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时,将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了,如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
"dataType" : "INT" } ], "watermarkSpecs" : [ ] }, "partitionKeys" : [ ], "options"
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[