检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题: 使用Loader
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。 父主题:
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui property.tez.log.level Tez的日志级别。 INFO 父主题: 使用Tez
提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明 HBase过载调优 开启CCSMap特性 开启Succinct Trie特性 父主题:
Mapreduce对接OBS 登录FusionInsight Manager,选择“集群 > 服务 > MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory
管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS Loader常见问题
'>','>=','!>','!<'。 true spark.sql.dropPartitionsInBatch.limit 支持批量删除的最大分区数。 1000 父主题: Spark SQL企业级能力增强
使用IoTDB IoTDB支持的数据类型和编码 IoTDB用户权限管理 IoTDB客户端使用实践 快速使用IoTDB 创建IoTDB用户自定义函数(UDF) IoTDB性能调优 IoTDB运维管理
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
log”,可以看到gaussdb异常。 图1 gaussdb异常 检查发现“/tmp”权限不对。 图2 /tmp权限 解决办法 修改/tmp的权限。 chmod 1777 /tmp 等待实例状态恢复。 父主题: 使用DBservice
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置BulkloadTool工具支持解析自定义分隔符 父主题: HBase企业级能力增强
/opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题: 性能优化类
FusionInsight Manager界面操作: 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在使用的用户所在行的单击“修改”。 为用户添加kafkaadmin组。单击“确定”完成修改操作。 通过命令id查询用户组信息。 [root@10-10-144-2
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数