检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hbase.wal.hsync 设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。若将该参数设置为true，则性能将受到影响，原因是每个WAL的编辑都会被hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数
集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism 200 按实际作业可用资源2倍设置 SQL作业 spark
此两个目录的存放路径优先通过SPARK_LOCAL_DIRS环境变量指定，若不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，
mbiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache
mbiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache
此两个目录的存放路径优先通过SPARK_LOCAL_DIRS环境变量指定，若不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，
此两个目录的存放路径优先通过SPARK_LOCAL_DIRS环境变量指定，若不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，
单击“Modules”，选中当前工程，并依次单击“Resources > conf > OK”，从而完成资源目录的设置，如“图7”所示。 图7 设置工程资源目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数，依次单击“Apply > OK”。 图7 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。
产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否不合理（默认
产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认8
omm命令来查看当前omm用户密码设置信息。 查找“Account expires”对应值，查看用户设置是否过期。 如果参数值为“never”，则代表永不过期。 是，执行3。 否，执行4。 执行chage -E 'yyyy-MM-dd' omm命令设置omm用户过期的期限，等待8小时，观察告警是否自动清除。
-l omm命令来查看当前omm用户密码设置信息。 查找“Password expires”对应值，查看密码设置是否过期。 如果参数值为“never”，则代表永不过期。 是，执行3。 否，执行4。 执行chage -M '天数' omm命令设置omm密码的有效天数，等待8小时，观察告警是否自动清除。
ommdba命令来查看当前ommdba用户密码设置信息。 查找“Password expires”对应值，查看密码设置是否过期。 如果参数值为“never”，则代表永不过期；如果为日期值，则查看是否已经过期。 是，执行3。 否，执行4。 执行chage -M '天数' ommdba命令设置ommdba密码的
cache_reserved_space决定磁盘预留空间，默认值为512MB，建议设置为磁盘容量的10%以上。比如3TB的磁盘，cache_reserved_space设置为300GB，cache_cap_max_available_rate设置为30%，如果磁盘空间小于300GB，尽管MemArtsC
lue字段）时产生的性能问题。 操作步骤 要启动聚合算法优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化：
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
对于非安全集群中的Carbon ACL权限，hive-site.xml中的参数hive.server2.enable.doAs必须设置为false。 将此属性设置为false，查询将以hiveserver2进程运行的用户身份运行。 父主题： 使用CarbonData（MRS 3.x及之后版本）
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml
需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0 ：如果设置为0，Producer将不会等待服务端任何响应。消息将会被认为成功。 acks=1 ：如果设置为1，当副本所在Leader确认数据已写入，但是其不会等待所有的副本完全写入即返回响应。在这
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
