检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 父主题： Structured Streaming程序
Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，并合理利用
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
执行以下语句： create table test_1 (id int, name text, value text); 通过HBase输入步骤，生成三个字段A、B和C。 配置“表输出”算子，将A、B和C输出到test_1表中： 输出结果如下： 父主题： Loader输出类算子
在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。 在“Cluster Summary”栏，可查看当前集群已有的Topic、Broker和Consumer Group数量。
取值范围： 不涉及 tracking_url String 参数解释： 日志链接地址。当前仅SparkSubmit作业支持该参数。
在Linux中调测Presto应用开发 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包，在工程目录target目录下获取，比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar
操作步骤 在Windows环境的开发环境IntelliJ IDEA中，在“Maven Projects > JDBCExample > Lifecycle”中，执行“clean”和“package”操作，编译完成后，在target目录下即可生成“JDBCExample-1.0-SNAPSHOT.jar
“--bootstrap-server”方式由服务端生成副本分配方案，后续版本，社区将只支持这种方式来进行Topic管理。
登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL作业，作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。
如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。
在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 选择“数据源”，单击“添加数据源”，在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > ClickHouse”。
Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor：按照任务的依赖关系分别执行Map/Reduce任务。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
在Linux中调测Hive JDBC应用 执行mvn package生成jar包，在工程目录target目录下获取，比如:hive-examples-1.0.jar。
执行以下语句： create table test_1 (id int, name text, value text); 通过HBase输入步骤，生成三个字段A、B和C。 配置“表输出”算子，将A、B和C输出到test_1表中： 输出结果如下： 父主题： 输出算子
原因分析 Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。
选择“完整客户端”，选择与待安装节点架构相匹配的平台类型，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
选择“完整客户端”，选择与待安装节点架构相匹配的平台类型，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
