检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schemaFemaleInfo.registerTempTable("FemaleInfoTable"); // 执行SQL查询 Dataset<ROW> femaleTimeInfo = spark.sql("select * from " +
hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
'/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户> user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。
submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 将1中导出的本地Jar包，4中获取的配置文件和5中获取的jar包合并统一打出完整的
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServ
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
<locatorid2>,<locatorid3> 其中<groupid>为创建的group名称，该示例语句创建的group包含三个locator，用户可以根据需要定义locator的数量。 执行以下命令进入Hive客户端： beeline Hive使用Colocation存储表。 假设table
处理步骤 修改用户密码。 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，查看并记录附加信息中即将过期的用户名称。 修改即将过期的用户密码。 如果对接了DataArts Studio服务，请检查DataArts St
平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 >
default.test_ligtwight_delete where id > 0; 注意事项 已删除的行会立即标记为已删除，并将自动从所有后续查询中过滤掉。数据清理在后台异步发生。此功能仅适用于MergeTree表引擎系列； 当前能力只支持本地表和复制表的轻量化删除功能，分布式表暂不支持。
将被忽略。 如果未指定默认值，则新列的默认值将被视为null。 如果在该列上应用filter，则在排序期间不会考虑新增列，新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
以omm用户登录主OMS节点，执行以下命令重启knox进程。 sh /opt/knox/bin/restart-knox.sh 等待五分钟，查看该告警是否恢复。 是，处理完毕。 否，执行5。 请联系运维人员，进行处理。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息
处理步骤 修改用户密码。 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，查看并记录附加信息中已经过期的用户名称。 修改已经过期的用户密码。 如果对接了DataArts Studio服务，请检查DataArts Studio作业是否使用过期的用户密码，
置保留多少天以内的归档文件，默认值30（天）。 注意事项 归档文件，没有备份，删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题： Hudi数据管理维护
--zookeeper 192.168.100.100:2181/kafka --delete-config retention.ms 执行以下命令，查询topic信息。 kafka-topics.sh --describe -topic <topic_name> --zookeeper <
distribution。 SORT_SCOPE：指定表创建时的排序范围。如下为四种排序范围。 GLOBAL_SORT：它提高了查询性能，特别是点查询。TBLPROPERTIES('SORT_SCOPE'='GLOBAL_SORT') LOCAL_SORT：数据会本地排序（任务级别排序）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
