检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DBService默认端口20050或20051被占用 问题背景与现象 执行DBService服务重启操作时，DBService服务启动失败，打印的错误日志中出现20050或20051端口被占用等信息。 原因分析 由于DBService使用的默认端口20050或20051被其他进程占用。
> 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。 图2 maven工具clean和install 方法二：在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean install命令进行编译。
rce /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。 spark-beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。
rce /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。 spark-beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
通过Ranger为MRS集群内用户绑定LakeFormation角色 LakeFormation与MRS集群对接后，可以在Ranger WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色，则绑定的用户或用户组拥有该角色的权限。 前提条件 已创建角色，并为
没有/tmp目录权限导致执行访问OBS的作业报错 问题现象 在使用MRS多用户访问OBS的场景中，执行Spark、Hive、Presto等作业时，出现“/tmp”目录没有权限的报错。 问题原因 作业执行过程中有临时目录，提交作业的用户对临时目录没有操作权限。 解决方法 在集群“概
Sink的BatchSize参数必须小于Channel的transactionCapacity。 集群Flume配置工具界面篇幅有限，Source、Channel、Sink只展示部分参数，详细请参考如下常用配置。 集群Flume配置工具界面上所展示Customer Source、Customer Channel及Customer
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成
poitype='xyz') t2 on in_polygon_join_range_list(t1.mygeosot,t2.polygon); 空间索引工具类UDF GeoID转栅格行列号。 GeoIdToGridXy(geoId) UDF输入参数： 参数 类型 说明 geoId Long 根据GeoId计算栅格行列号。
MRS集群Kerberos认证介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证，集群创建完成后不支持修改。 安全模式（启用Kerberos认证） 安全模式的MRS集群
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用
Sink的BatchSize参数必须小于Channel的transactionCapacity。 集群Flume配置工具界面篇幅有限，Source、Channel、Sink只展示部分参数，详细请参考如下常用配置。 集群Flume配置工具界面上所展示Customer Source、Customer Channel及Customer
修改相关配置项时请严格按照提示描述，确保修改后的值有效，且GC_OPTS与HBASE_HEAPSIZE参数值无冲突。 使用OfflineMetaRepair工具 导致HBase服务启动异常。 必须在HBase下线的情况下才可以使用该命令，而且不能在数据迁移的场景中使用该命令。 HDFS 修改HDF
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口，用户可以通过JDBC连接Th
HDFS对接OBS业务应用开发样例说明 对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示：
修改MRS集群节点机架信息 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。
升级MRS集群Master节点规格 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务（Host
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时，系统管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信，每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”，不同的Manager系
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
