检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
或者Task节点最多支持添加10块磁盘，有如下应用场景： 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。 数据存储和计算不分离，数据存储在HDFS
设置为“IoTDBServer进程使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 IoTDBServer进程使用的直接内存大小可以通过“定制 > 内存 > IoTDBServer直接内存资源状况”获取。若“GC_OPTS”中没有参数“-XX:MaxDirectMemorySize”，则需进行手动添加。
SPARK_DRIVER_MEMORY”参数调整为默认值的1.5倍；若参数值调整后，仍偶现告警，可按0.5倍速率调大。若告警次数比较频繁，可以按1倍速率调大。 重启所有的IndexServer2x实例。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 等待10分钟，观察界面告警是否清除。
TBLPROPERTIES("orc.compress"="ZSTD_JNI", 'orc.global.compress.level'='3'); 用户可以对特定的数据格式列指定压缩，对业务数据进一步压缩。当前识别的特定格式数据包括：JSON数据列、BASE64数据列、时间戳数据列和UUID数据列。建表时设置表属性参数“orc
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui.log TezUI进程的运行日志
> 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”，查看该告警阈值是否不合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行2。 否，执行4。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
容量”查看顶级Znode目录是否被写入较多数据。 是，记录被写入较多数据的目录，执行3。 否，执行5。 确认被写入较多数据的目录中数据是否可以进行删除。 删除ZooKeeper中的数据为高危操作，请谨慎处理。 是，执行4。 否，执行5。 登录ZooKeeper客户端，删除被写入较多数据的目录中的无用数据。
”。 进入该目录，执行du -sh *命令，查看该目录下各文件夹的大小。查看是否存在除“kafka-logs”目录外的其他文件，并判断是否可以删除或者迁移。 是，删除或者迁移相关数据，然后执行8。 否，执行4。 进入“kafka-logs”目录，执行du -sh *命令，选择一个
理员需要根据企业安全要求，为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略，在修改业务用户密码以后，可以删除旧的拓扑并重新提交，使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后，此用户将不受Manager界面上的“密码策略”配置影响。
建议“-Xms”和“-Xmx”设置成相同的值，避免JVM动态调整堆内存大小时影响性能。 当Storm集群规模越大，Worker数量越多时，可以适当调大Nimbus的GC_OPTS参数，配置建议如下：Worker数量为20个时，“-Xmx”设置为不小于1G；Worker超过100个
Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写吞吐率”，查看该告警阈值是否合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
使用root用户执行iotop命令，查看磁盘读写占用率高的进程，并根据实际情况判断该进程是否为无用进程。 是，执行以下命令停止无用进程。（PID可以在执行iotop命令后，按“P”键将TID切换为PID获取） kill -9 PID 否，执行8。 等待5分钟，检查该告警是否恢复。 是，处理完毕。
阈值设置 > 待操作集群的名称 > HDFS > 磁盘 > 总副本预留磁盘空间所占比率”，查看该告警阈值设置是否合理（默认90%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况，在“运维 > 告警 > 阈值设置 > 待操作集群的名称 >
模式），执行以下命令进行用户认证。集群未启用Kerberos认证（普通模式）请跳过该步骤。 kinit hdfs 按提示输入密码，用户密码可以向MRS集群管理员获取，首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave
打开IntelliJ IDEA，在“Quick Start”页面选择“Open or Import”。 另外，针对已使用过的IDEA工具，可以从主界面选择“File > Import project...”导入样例工程。 图6 Open or Import（Quick Start页面）
MRS 2.1.0.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.3 发布时间 2020-04-29 解决的问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log
0MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/
[root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中，即使主机重启，配置依然能生效。 net.ipv4.neigh.default.gc_thresh1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
