检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect- SUCCESS!\n"); 创建HDFS目录。
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用
运行任务 登录Spark客户端节点，执行如下命令： source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 编译构建样例代码后可以使用spark-submit提交命令，执行命令后会依次执行写入、更新、查询、删除等操作
解决办法 登录HDFS的WebUI页面，进入DataNode的JMX页面。 在HDFS原生界面，选择Datanodes页面。 找到对应的DataNode节点，单击Http Address地址进入DataNode详情。
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43012”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer（对应上报告警实例IP地址） > 定制 >JDBCServer直接内存”。
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43013”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer（对应上报告警实例IP地址） > 定制 >JDBCServer的GC时间”。
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“44006”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Presto > 实例 > Worker（对应上报告警实例IP地址） > 定制 > Presto进程GC时间”。
以omm用户登录TokenServer实例所在节点，执行ps -ef|grep "guardian.token.server.Server"命令查看当前节点是否存在TokenServer进程。 是，执行5。 否，重启TokenServer故障实例，执行4。
登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > BE的内存使用率 (BE)”。 单击“平滑次数”后的编辑按钮，基于实际使用情况，修改平滑次数配置项，单击“确定”。
登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > 异常 > 是否存在某种类型的任务的失败的次数有增长趋势 (BE)”。 单击“平滑次数”后的编辑按钮，基于实际使用情况，修改平滑次数配置项，单击“确定”。
处理步骤 登录FusionInsight Manager首页，选择“集群 > 服务 > JobGateway > 实例”。进入实例页面查看JobServer或JobBalancer全部实例是否故障或未启动，并查看故障或未启动实例所在节点的主机名。
登录告警节点。 执行以下命令切换用户： sudo su - root su - omm 执行如下命令查看omm用户D状态进程号。 ps -elf | grep -v "\[thread_checkio\]" | awk 'NR!
登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包错误率”中更改告警阈值。
如果需要修改实例的运行日志或审计日志的单个文件最大值或者日志归档文件最大数目，请执行如下操作： 登录Manager。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去查询具体更新的文件分区
登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。
操作步骤 以omm用户登录到需要还原的DBService节点。
登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”中更改告警阈值。
登录MRS集群详情页面，选择“告警管理”。 在告警列表中，查看是否有“ALM-18000 Yarn服务不可用”产生。 是，执行2.c。 否，执行3。 参考ALM-18000 Yarn服务不可用（2.x及以前版本）的处理步骤处理该故障。
登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
