检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
通过配置此参数定义SSL协议以适用于SSL上下文。 -Dzookeeper.ssl.exclude.cipher.ext 通过配置此参数定义SSL上下文中应排除的密码列表，之间以逗号间隔。 以上参数须在“zkCli.sh/zkEnv.sh”文件内设置。 Server端 在文件“zoo.cfg”中将SSL端口参
Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“ResourceManager内存使用率”。查看堆内存使用情况。 图1 定制ResourceManager内存使用率
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 垃圾回收”，勾选“ResourceManager垃圾回收（GC）时间”。查看ResourceManager每分钟的垃圾回收时间统计情况。
Flink对接云搜索服务（CSS）样例程序开发思路 场景说明 本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch的功能。
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.j
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”），出现如下异常，The DiskSpace quota of /hbase is
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错： ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'
Alluxio应用开发简介 Alluxio简介 Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性
数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaS
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
Server（角色）> 自定义”，在“clickhouse-config-customize”配置项中添加如下OpenLDAP配置参数。 表1 OpenLDAP参数说明 参数名 参数说明 参数取值参考 ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP，不能为空。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
