检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
torm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount.WordCountTopology类中，作用在于构建应用程序并提交。 public static void main(String[]
orm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount包的“WordCountTopology”类的“main”方法中，作用在于构建应用程序并提交。 public static void main(String[]
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。 调整IntelliJ
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。 调整IntelliJ
登录到集群的Kerberos服务节点，查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、备OMS节点，查看“/var/log/Bigdata/okerberos/oms-krb5kdc.log”。 发现有大量的认证失败，同时有 “<unknown client>
文件完整路径为“${BIGDATA_HOME}/FusionInsight_BASE_XXX/1_X_KerberosClient/etc/kdc.conf”。其中“XXX”为产品版本号，“X”为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。
autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句： SET spark.sql.autoBroadcastJ
添加GBase数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句： SET spark.sql.autoBroadcastJ
数据文件无格式要求，例如文件名为“wordcount1.txt”和“wordcount2.txt”，内容如下所示： vi /opt/wordcount1.txt hello word hello wordcount vi /opt/wordcount2.txt hello mapreduce
Spark SQL join优化 操作场景 Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（请参见使用广播变量），将小表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。 这里join操作，只指inner join。
以root用户登录Master1节点。 准备数据文件。 例如文件名为“wordcount1.txt”和“wordcount2.txt”，内容如下所示： vi /opt/wordcount1.txt hello word hello wordcount vi /opt/wordcount2.txt hello mapreduce
env.execute("Streaming WordCount with bolt tokenizer"); 修改完成后使用Flink命令进行提交。 flink run -class {MainClass} WordCount.jar 父主题： 迁移Storm业务至Flink
流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入
Flink客户端常见命令说明 在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业： 安装Flink客户端，例如安装目录为“/opt/client”。 初始化环境变量。 source /opt/client/bigdata_env
流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：
添加Oracle数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置Oracle数据源实现对Oracle数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加Oracle类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
用户提交Flink样例程序./flink run /opt/client/Flink/flink/examples/streaming/WordCount.jar时报错：unable to establish the security context。 原因分析 MRS集群开启了Ke
物联网时序数据分析场景介绍 在物联网场景中，海量设备采集的数据需要进行低延迟的高效接入、存储和分析，数据具有高度的时间属性相关特点，传统数据库基于二维表的数据模型，无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎，数据按设备
Connector支持消费drs-json格式数据 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式（一种CDC消息格式）的数据。 使用方法 在创建的Kafka Connector Source流表中，设置 'format' = 'drs-json'。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
