检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
waitForCompletion(true) ? 0 : 1); } 样例4：类CollectionCombiner实现了在map端先合并一下map输出的数据，减少map和reduce之间传输的数据量。 /** * Combiner class */ public
log/Bigdata/audit/hive/webhcat”（审计日志）。 日志归档规则：Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
MirrorMaker：“/var/log/Bigdata/kafka/mirrormaker”（运行日志） 日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号]
“周期”：表示任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 “备份策略”：只支持“每次都全量备份”。 在“备份配置”，勾选“元数据和其它数据”下的“Flink”。 在“Flink”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保
致作业运行失败。 风险提示：在SUSE内核版本3.0以上或Red Hat 7.2版本，由于系统内核修改了网络读包丢包数的计数机制，在该系统下，即使网络正常运行，也可能会导致该告警出现，对业务无影响，建议优先按照“检查系统环境”进行排查。 可能原因 网卡配置了主备bond模式。 告警阈值配置不合理。
文件和块”，勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”中查找“NameNode”下的GC_OPTS参数。 配置文件对象数阈值：修改GC_OPTS参数中Xmx的值（Xmx内存值对应文件数阈值的公式为（y = 0.2007 x
依赖于操作系统的sssd或nscd服务，用户的建立到同步到sssd服务需要一定时间，如果此时用户没有生效，或者sssd版本存在bug的情况下，某些情况下在ZooKeeper节点会出现用户无效的情况，导致创建Topic异常。 解决办法 重启sssd/nscd服务。 Red Hat/Euler
VersionedCollapsingMergeTree VersionedCollapsingMergeTree表引擎在建表语句中新增了一列version，用于在乱序情况下记录状态行与取消行的对应关系。主键相同，且Version相同、Sign相反的行，在Compaction时会被删除。 建表语法： CREATE
waitForCompletion(true) ? 0 : 1); } 样例4：类CollectionCombiner实现了在map端先合并一下map输出的数据，减少map和reduce之间传输的数据量。 /** * Combiner class */ public
使用Eclipse远程提交拓扑后Worker日志为空，则使用Storm客户端，提交拓扑对应的Jar包，查看提示信息。 例如，Jar包中包含两个不同路径下的“storm.yaml”文件，系统显示以下信息： Exception in thread "main" java.lang.Excepti
run(Thread.java:745) 查看对应HiveServer日志目录（/var/log/Bigdata/hive/hiveserver）下的hs_err_pid_*****.log，发现有内存不够的错误： # There is insufficient memory for the
合并的数据。如果在此过程中发生异常，根据工具提示，可将trash目录中的数据通过hdfs的mv命令恢复。 在HDFS router联邦场景下，如果表的根路径与根路径“/user”的目标NameService不同，在二次合并时需要手动清理放入回收站的原表文件，否则会导致合并失败。
与yarn-session.sh -z 保持一致。 -h：获取帮助。 Flink提交作业。 "-y*"参数是指yarn-cluster模式下使用。 非"-y*"参数用户在用该命令提交任务前需要先用yarn-session启动Flink集群。 flink info -c,--class
其他支持的条件包括如下内容： where子句中的多个条件 别名关系 下标表达式 解引用表达式 强制转换表达式 特定函数调用 目前，只在如下情况下支持多个semi/anti join表达式：第一个表中的列在其直接后续的join表达式中被查询，且不与其他join表达式有关系。 示例如下：
待迁移的存量数据及数据量统计 如果使用HDFS作为文件存储系统，可以通过客户端执行hadoop fs -du -h HDFS文件目录命令统计路径下的文件大小。 表4 现有数据量统计 大数据组件 待迁移数据的路径 数据量大小 文件个数或表个数 HDFS/OBS（或其他文件存储系统） /user/helloworld
arn-session.sh -z 保持一致。 -h：获取帮助。 Flink提交作业。 1."-y*"参数是指yarn-cluster模式下使用。 2.非"-y*"参数用户在用该命令提交任务前需要先用yarn-session启动Flink集群。 flink info -c,--class
ster的“GC_OPTS”参数。 RegionServer：RegionServer需要的内存一般比HMaster要大。在内存充足的情况下，HeapSize可以相对设置大一些。 说明： 主HMaster的HeapSize为4GB的时候，HBase集群可以支持100000 Reg
并复制。 选择“恢复管理 > 创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”的“业务数据”下，勾选“Doris”。 在“Doris”的“路径类型”，选择一个恢复目录的类型。 表1 恢复数据 路径类型 参数说明 RemoteHDFS
作业的COMMIT阶段开始，当前集群上被覆盖的数据有可能不再被还原。如果恢复作业失败或被取消，有可能造成之前的数据损坏且无法访问。这种情况下，只能通过再次执行恢复操作，并等待作业完成。因此，不推荐使用覆盖的方式恢复数据，除非确认当前数据已不再使用。 数据恢复原理介绍 Doris数
DBroker：“/var/log/Bigdata/doris/dbroker”（运行日志）。 日志归档规则：Doris的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过指定大小的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
