检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决Flink客户端不支持-yD或-D配置keytab和principal的问题。 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题。 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。 解决HetuEngine查
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为： svctm = (tot_ticks_new
打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点，分别执行以下操作。 以root用户登录节点，执行service
以root用户登录上报告警的QAS实例所在节点的主机。 执行以下命令进入QAS数据目录，根据需求清理临时文件。 cd ${BIGDATA_DATA_HOME}/hetuengine/qas 清理临时文件会影响QAS本次运行结果，不影响后续QAS结果。 等待2分钟，查看告警是否消失。 是，处理完毕。
/user/test 文件操作方式 数据导入时的操作行为。全部数据从输入路径导入到目标路径时，先保存在临时目录，然后再从临时目录复制转移至目标路径，任务完成时删除临时路径的文件。转移临时文件存在同名文件时有以下行为： “OVERRIDE”：直接覆盖旧文件。 “RENAME”：重命名新
数据库模式名。 dbo 表名 数据库表名，用于最终保存传输的数据。 test 临时表名 数据库临时表名用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 db_test 数据库类型 数据库类型，分为MOT和其他可用JDBC连接的数据库。 MOT MOT导入方式 “数据库类型”
应用程序目录下针对工程禁用自动部署功能，只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法，防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令，避免被黑客捕获利用关闭服务器，降低对服务器和应用的威胁。 出于安全考虑，更改“maxHttpHe
指定一次原子性的拷贝，可以添加一个临时目录的选项，作为拷贝过程中的暂存目录。 -bandwidth 指定每个拷贝任务的传输带宽，单位MB/s。 -delete 删除掉目标位置中存在，但源位置不存在的文件。该选项通常会和-update配合使用，表示将源位置和目标位置的文件同步，删除掉目标位置多余的文件。
/user/test 文件操作方式 数据导入时的操作行为。全部数据从输入路径导入到目标路径时，先保存在临时目录，然后再从临时目录复制转移至目标路径，任务完成时删除临时路径的文件。转移临时文件存在同名文件时有以下行为： “OVERRIDE”：直接覆盖旧文件。 “RENAME”：重命名新
runInline为false时，不需要指定strategy和value属性，TTL会在每次clean操作过程中去判断所有分区是否满足老化的条件，如果满足则直接物理删除老化的分区。 参数描述 参数 描述 是否必填 table String类型，表名或者库名.表名 否，table和path二选一 path String类型，表的绝对路径
y/certHA/server.crt可以查看HA用户证书的生效时间与失效时间。 是，执行7。 否，执行8 CA或者HA证书的“生效时间”和“失效时间” 示例： Certificate: Data: Version: 3 (0x2) Serial
2 -H --all /dev/sda ... 依次尝试不同磁盘类型和槽位信息的命令组合，如果执行结果中显示“SMART support is: Enabled”，表示磁盘支持smart，记录命令执行成功时磁盘类型和槽位信息组合参数；如果尝试完以上所有的命令组合，执行结果都未显示“SMART
50GB 否（新版本可通过多租户方式配置） max_bytes_before_external_group_by 确定了在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。默认值为0表示这项功能将被禁用。一般：设置为max_memory_usage/2。 0 25GB 否 max_execution_time
统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDFS文件系统的临时目录中。存算分离场景对接OBS文件系统时，也能够支持TASK容错，但是中间数据仍然落盘至HDFS临时目录中。 集群默认会在查询结束时完成缓冲区文件清理，且每小时检测并清理存在超期1天的残留
中划线，下划线和点。 长度：[1-255]。 “是否执行前删除文件”为“true”时必填。 12 文件操作方式 数据导入时的操作行为。全部数据从输入路径导入到目标路径时，先保存在临时目录，然后再从临时目录复制转移至目标路径，任务完成时删除临时路径的文件。转移临时文件存在同名文件时有以下行为：
登录MRS管理控制台。 选择“现有集群”，进入集群列表页面。 集群列表默认按创建时间顺序排列，集群列表参数说明如表1所示。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系华为云支持人员。
期来管理这些文件，并不会关注单个executor所在的container是否存在。因此，只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的shuffle文件，例如每个整点清理超过6个小时的文件：
若JobServer部署节点IP为：192.168.0.192、192.168.0.168、192.168.0.23 ， 则最小IP为192.168.0.23。 脚本支持一次性更新一个或多个服务客户端。 以omm用户登录最小IP节点，执行更新服务客户端的脚本。 cd ${BIGDATA_HOME}/FusionI
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
为了系统文件的安全，建议用户将非临时目录进行安全加固，例如： /user:777 /mr-history:777 /mr-history/tmp:777 /mr-history/done:777 /user/mapred:755 配置HDFS文件和目录的权限 HDFS支持用户进行文件和目录默认权限的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
