检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题
Loader常用参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API接口介绍 父主题： Kafka应用开发常见问题
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API接口介绍 父主题： Kafka应用开发常见问题
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题
Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。 在搜索框中输入参数名称。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.
JSON表中有破损数据导致Hive查询异常 用户问题 在Hive客户端查询JSON数据，JSON表中有破损数据导致查询异常： 在Hive客户端上使用默认开源的JSON序列化建表语句创建表： create external table if not exists test ( name string ) row
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包，Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下，当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
Iceberg常用参数 本章节主要介绍Iceberg重要配置的详细信息。Iceberg表支持使用表属性来配置表的行为，例如读取器的默认拆分大小。 表1 读属性 属性名称 默认值 描述 read.split.target-size 134217728（128MB） 用于设置数据被拆分后的大小。
Flink应用开发常用概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过socket、Kafka和文件等形式导入，在Flink系统处理后，通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。 Data
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。 StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接进行数据分析，同时StarRocks具备水平扩展、高可用、高可靠、易运维等特性，广泛应用于实时数仓、OLAP报表、数据湖分析等场景。
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie Rest接口介绍 父主题： Oozie应用开发常见问题
Alluxio常用概念 Masters 由两个进程组成，一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master，另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源（例如：内存、SDD、HDD），对底层存储进行数据操作。
[ORDER BY expr_list] ClickHouse在创建表时建议携带PARTITION BY创建表分区。因为ClickHouse数据迁移工具是基于表的分区作数据迁移，在创建表时如果不携带PARTITION BY创建表分区，则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。
IoTDB常用配置参数 操作场景 IoTDB通过多副本的部署架构实现了集群的高可用，每个Region（DataRegion和SchemaRegion）默认具有3个副本，也可配置3个以上。当某节点故障时，Region副本的其他主机节点上的副本可替代工作，保证服务能正常运行，提高集群的稳定性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
