检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数： --schemaprovider-class 定义的schema类 --transformer-class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
37:29902,192.168.195.232:29902,192.168.169.84:29902”。 在Manager页面，选择“集群 > 服务 > HetuEngine > 实例”，获取HSFabric所有实例的业务IP；在“配置”页签，搜索“gateway.port”，获取HSFabric的端口号。
} } } return ""; } 样例中zkQuorum对象需替换为实际ZooKeeper集群节点信息。 样例4：类MultiComponentReducer定义Reducer抽象类的reduce方法。
详细信息，如图所示： 查看队列详情中“Used Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资
检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”，查看告警详情，获取产生告警的节点信息。 使用Hive客户端连接到产生该告警的HiveServer节点，查询Apache提供的HQL语法规范，确认输入的命令是否正确。详情请参见https://cwiki
Flume的可用性则基于内建的Load Balancing和Failover机制。Channel及Agent都可以配多个实体，实体之间可以使用负载分担等策略。每个Agent为一个JVM进程，同一台服务器可以有多个Agent。收集节点（Agent1，2，3）负责处理日志，汇聚节点（
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
ResourceManager进程的垃圾回收时间过长，可能影响该ResourceManager进程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 >
value)：ShenZhen、Longgang 用户可以执行以下数据操作： 获取每天的监控数据，通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发，需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
Consumer/消费者 向Topic订阅，并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己，主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组，它们就以传统队列
HBase”，单击概览页面右上角的“ 启动服务”启动HBase服务。 HBase服务启动成功后，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行8。 使用对应步骤恢复HBase服务后，需要观察一段时间，确认HBase服务以及相关业务正常后，建议执行以下命令删除相关备份目录，避免残留存在坏快的无用文件：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
