-
CarbonData调优思路 - MapReduce服务 MRS
Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量也会增加。关于如何配置Executor数量,请参考Spark资料。 Executor核:每个Executor内,并行任务数受Executor核的配置控制
-
安装集群过程中Ranger启动失败 - MapReduce服务 MRS
er进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下,安装失败后,请先手动重启一
-
安装集群过程中,Ranger启动失败 - MapReduce服务 MRS
er进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下,安装失败后,请先手动重启一
-
产品咨询类 - MapReduce服务 MRS
MRS集群是否支持Hive on Spark? 不同版本的Hive之间是否可以兼容? 数据存储在OBS和HDFS有什么区别? Hadoop压力测试工具如何获取? 关于MRS服务集成的开源第三方SDK中包含的公网IP地址声明 MRS是否支持Hive on Kudu? 10亿级数据量场景的解决方案有哪些? 如何修改DBService的IP地址?
-
MapReduce任务异常,临时文件未删除 - MapReduce服务 MRS
MapReduce任务异常,临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除? MR任务即MapReduce任务,关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多,占用内存。 原因分析 MapReduce任务提交时会
-
BulkLoad工具配置文件说明 - MapReduce服务 MRS
wkey即通过一些规则将多个列名经过一些自定义处理,组合生成新的rowkey。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 关于组合rowkey在“configuration.xml”文件中的配置如下所示,该样例中定义组合rowkey为列“SMS_ID”、“SMS_
-
BulkLoad工具配置文件说明 - MapReduce服务 MRS
wkey即通过一些规则将多个列名经过一些自定义处理,组合生成新的rowkey。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 关于组合rowkey在“configuration.xml”文件中的配置如下所示,该样例中定义组合rowkey为列“SMS_ID”、“SMS_
-
Hive启用Ranger鉴权后,在Hue页面能查看到没有权限的表和库 - MapReduce服务 MRS
鉴权后,集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。 原因分析 Hive启用Ranger鉴权后,默认的Hive策略中有2个关于database的public组策略, 所有用户都属于public组,默认给public组配有default数据库的创表和所有其他数据库的
-
HBase基本原理 - MapReduce服务 MRS
riented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息,请参见:https://hbase.apache.org/。 存储在HBase中的表的典型特征: 大表(BigTable):一个表可以有上亿行,上百万列。
-
Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 - MapReduce服务 MRS
试。RM中对重试次数有限制,默认是30次,每次间隔默认为30秒左右,每次重试时都会报上面的错误。超过次数后,driver才会退出。 RM中关于重试相关的配置项如表1所示。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager.connect.max-wait
-
查看Storm拓扑日志 - MapReduce服务 MRS
查看Storm拓扑日志 操作场景 用户需要查看Storm拓扑在worker进程中的执行情况时,需要查看worker中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志,提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景,且用户需要是拓
-
Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 - MapReduce服务 MRS
试。RM中对重试次数有限制,默认是30次,每次间隔默认为30秒左右,每次重试时都会报上面的错误。超过次数后,driver才会退出。 RM中关于重试相关的配置项如表1所示。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager.connect.max-wait
-
Manager操作指导(适用于2.x及之前版本) - MapReduce服务 MRS
Manager操作指导(适用于2.x及之前版本) MRS Manager简介 查看集群运行任务 监控管理 告警管理 告警参考(适用于MRS 2.x及以前版本) 对象管理 日志管理 健康检查管理 静态服务池管理 租户管理 备份与恢复 安全管理 权限管理 MRS多用户权限管理 补丁操作指导
-
配置Hive表不同分区分别存储至OBS和HDFS - MapReduce服务 MRS
以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力,关于Hive如何在存算分离场景下对接OBS,对接指导可参考Hive对接OBS文件系统章节。 前提条件 已安装Hive客户端。 操作示例 以Hi
-
配额说明 - MapReduce服务 MRS
弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
-
手动续费 - MapReduce服务 MRS
便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
-
权限管理 - MapReduce服务 MRS
RS集群资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用MRS服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。
-
计费概述 - MapReduce服务 MRS
的购买周期进行结算,因此在购买之前,用户必须确保账户余额充足。按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 关于两种计费模式的详细介绍请参见计费模式概述。 在购买MRS集群后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。
-
使用Hue提交Oozie HQL脚本 - MapReduce服务 MRS
单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本,关于保存Hive脚本参考在Hue WebUI使用HiveQL编辑器章节。选择脚本后单击“添加”。 配置“作业 XML”,例如配置为hdfs路径
-
集群创建类 - MapReduce服务 MRS
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时,找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群,提交订单时,报无效认证如何处理?