检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Presto 配置sql-standard-with-group创建schema失败报Access Denied Presto的coordinator进程无法正常启动 Presto查询Kudu表时系统报错找不到表 Presto查询Hive表无数据 MRS Presto查询报错“The
如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
补丁基本信息 表1 补丁基本信息 补丁号 MRS_3.1.0_TROS_Tools_patch_20240430 发布时间 2024-07-15 解决的问题 MRS_3.1.0_TROS_Tools_patch_20240430修复问题列表: 支持Manager运维通道 支持运维巡检特性 补丁兼容关系
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置BulkloadTool工具支持解析自定义分隔符 父主题: HBase企业级能力增强
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。 父主题:
管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS Loader常见问题
Mapreduce对接OBS 登录FusionInsight Manager,选择“集群 > 服务 > MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory
'>','>=','!>','!<'。 true spark.sql.dropPartitionsInBatch.limit 支持批量删除的最大分区数。 1000 父主题: Spark SQL企业级能力增强
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
配置HetuEngine资源组 配置HetuEngine Worker节点数量 配置HetuEngine维护实例 配置HetuEngine Coordinator运行的节点范围 导入导出HetuEngine计算实例配置 查看HetuEngine实例监控页面 查看HetuEngine Coordinator和Worker日志
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数
log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui property.tez.log.level Tez的日志级别。 INFO 父主题: 使用Tez
提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明 HBase过载调优 开启CCSMap特性 开启Succinct Trie特性 父主题:
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
扩容时是否在新增节点上跳过执行创建集群时指定的引导操作。 约束限制: 不涉及 取值范围: true:跳过执行创建集群时指定的引导操作。 false:不跳过执行创建集群时指定的引导操作。 默认取值: true scale_without_start 否 Boolean 参数解释: 扩容后是否选择不启动扩容节点上的组件。
FusionInsight Manager界面操作: 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在使用的用户所在行的单击“修改”。 为用户添加kafkaadmin组。单击“确定”完成修改操作。 通过命令id查询用户组信息。 [root@10-10-144-2
/opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题: 性能优化类
运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理 父主题: 配置MRS集群存算分离