检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户认证及权限类 登录MRS集群Manager的用户是什么？ 集群内用户密码的过期时间如何查询和修改？ 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ 如何给集群内用户添加租户管理权限？ Hue WebUI有配置账号权限的功能吗？ 为什么IAM子账号添加了MRS权限却无法在控制台提交作业？
同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA
HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常，处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败 使用
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限：
metastore.server.min.threads MetaStore启动的用于处理连接的线程数，如果超过设置的值之后，MetaStore就会一直维护不低于设定值的线程数，即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs
blocksize”，将其设置为268435456，上传数据，block大小还是原来的大小。 原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改，以客户端配置为准。 解决办法 确保“dfs.blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时，日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题： 使用Ranger（MRS 3.x）
上述打包命令中的{maven_setting_path}为本地Maven的settings.xml文件路径。 打包成功之后，在工程根目录的“target”子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
OpenTSDB应用开发环境简介 在进行二次开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求：1.8及以上。 安装和配置Eclipse
clients.NetworkClient) Producer采用21005端口来访问Kafka，21005为非安全端口。 通过客户端命令查看topic的ACL权限设置信息。 [root@10-10-144-2 client]# kafka-acls.sh --authorizer-properties
使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场景。例如：不会花费资源重试由于无法解析SQL而失败的查询任务。 不同数据源对SQL语句的容错支持能力存在差异： 所有数据源都支持读操作的容错执行。 Hive数据源支持写操作的容错执行。 容错能力非常适合大批量查询，如
私有云的其他节点使用的客户端（即用户自行搭建的客户端）。如果集群之前安装了1.9.3.8补丁，不需要做此操作。 主Master节点的原始客户端全量更新，请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新，请参见全量更新备Master节点的原始客户端。
为什么CDL任务执行后Hudi中没有接收到数据 现象描述 抓取数据到Hudi中的CDL任务运行后，Kafka中有相关数据，Spark的RDD处理中无记录，Hudi中没有相关数据，并且Yarn日志报错：TopicAuthorizationException: No authorized
Ranger常见问题 如何判断某个服务是否使用了Ranger鉴权 为什么新创建用户修改完密码后无法登录Ranger 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题： 使用Ranger
MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力，可从历史版本升级至目标LTS版本。如果需要使用版本升级能力，需联系运维人员确认支持的升级路径并购买相关专业服务进行升级。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示
准备好自定义jar包，并上传到客户端节点。本操作以“spark-test.jar”为例，上传到客户端节点“/tmp”目录下。 配置参数 以客户端安装用户，登录安装客户端的节点，执行如下命令： cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证（安全模式），执行以
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x
现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark UI上，会发现某些executors的GC时间明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
