检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Ranger（MRS 3.x） 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题： HDFS开发指南
Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题： 使用Spark/Spark2x
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
sync” 当提升性能时，缺点是对于DataNode（默认是3个）同时故障时，存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase > 配置”，单击“全部配置”。在搜索框中输入参数名称，并进行修改。
metadata失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 ECS底层接口异常，导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
创建CDL作业前准备 开启Kafka高可靠功能 登录CDLService WebUI界面 上传数据库驱动文件 创建CDL数据库连接 管理CDL ENV变量 配置源数据心跳表实现数据判齐功能 父主题： 使用CDL
Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时，如果用户没有default库的OBS路径
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.3.1-LTS
配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化 降低MapReduce客户端运行任务失败率 父主题： 使用MapReduce
配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化 降低MapReduce客户端运行任务失败率 父主题： 使用Mapreduce
性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置MRS集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo
使用CarbonData（MRS 3.x及之后版本） CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 使用ClickHouse客户端 ClickHouse表创建 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
group_id) as banji from emp1 a”的关联子查询SQL语法。 配置参数 spark-sql 场景：在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
使用Doris Doris数据模型概述 Doris用户权限管理 使用MySQL客户端连接Doris 快速使用Doris Doris数据导入 Doris数据分析 Doris企业级能力增强 Doris运维管理 Doris常见SQL语法说明 Doris常见问题 Doirs故障排除
算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。 小写/大写：指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。
Hive SQL state [42000]." 原因分析 对于Join操作，由于集群配置不理想和Tez资源设置不合理导致该问题。 处理步骤 可以在beeline上设置配置参数进行解决。 设置以下属性以优化性能（建议在集群级别进行更改） 设置hive.auto.convert.sortmerge
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
