检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。
用户组、权限等是否正常。正常用户、用户组、权限为“omm：ficommon 750”。 是，执行1.f。 否，执行1.e。 执行如下命令将文件夹权限修改为“750”，并将“用户:属组”修改为“omm:ficommon”。 chmod 750 <folder_name> chown
创建的业务用户（未开启Kerberos认证的用户请跳过该操作） 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存： spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog spark
全部配置”进入HDFS全部配置页面。 搜索并根据实际需求进行配置以下参数。 参数名称 参数说明 默认值 dfs.datanode.synconclose 在存储文件过程中，系统断电或重启，如果此参数设置为false，缓存中的block数据不会被立即写入磁盘，可能会导致数据丢失。如果设置为true，可以
timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。 父主题： MRS集群补丁说明
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题：
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题：
配置“HBase输入”算子，生成三个字段A、B和C： 设置了数据连接器后，可以单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子，将A、B和C输出到test_1表中：
告警”，单击告警“ZooKeeper进程垃圾回收（GC）时间超过阈值”所在行的下拉菜单。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例 > quorumpeer”。单击图表区域右上角的下拉菜单，选择“定制
<arg>：指定YARN 队列。 -s,--slots <arg>：设置每个Taskmanager的SLOT个数。 -t,--ship <arg>：指定待发送文件的目录。 -tm,--taskManagerMemory <arg>：为TaskManager设置内存。 -yd,--yarndetached：以分离模式启动。
足的问题。 是，执行5。 否，执行6。 重启NameNode释放内存，检查本告警是否恢复。 是，处理完毕。 否，执行6。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 检查Spark进程内存是否不足。 排查是否有内存相关的修改导致Spark进程内存不足。 是，执行7。 否，执行8。
告警 > OBS数据写操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据写操作”中
告警”，选中“告警ID”为“45328”的告警，查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”，单击告警上报的Worker，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制
处理步骤 检查直接内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43008”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制 > JobH
Structure > Modules”，然后将内含“log4j.properties”和“UserInfo.properties”的“conf”文件夹添加为Source Folders。 重新编译程序。 父主题： Manager应用开发常见问题
换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 controller进程持续重启，可能引起无法访问服务原生UI界面。 可能原因 controller进程异常。 处理步骤 检查controller进程是否异常。 打开FusionInsight
如果告警原因是“提交任务失败”，则查看“附加信息”中的错误细节信息，同时到Loader界面查看该任务的历史执行记录。 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 重新提交任务。 查看任务是否成功执行。
回滚补丁后操作 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。 登录华为云MRS管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题： 回滚补丁
在告警列表中，查看“ALM-45001 HetuEngine计算实例故障”告警是否清除。 是，处理完毕。 否，执行10。 检查HetuEngine计算实例状态。 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
