检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
curity/FlinkStreamJavaExample。 本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Flink样例工程示例 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。 在本示例中,
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件,例如读取文件的内容,需要如何操作? 回答 默认情况下,可以在UDF中用文件的相对路径来操作文件,如下示例代码: public String evaluate(String text) { //
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1.txt中的内容复制保存到input_data1
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1.txt中的内容复制保存到input_data1
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1.txt中的内容复制保存到input_data1
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven Projects”界面执行“项目名称 > Lifecycle”目录下的“clean”和“compile”脚本。 在I
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven Projects”界面执行“项目名称 > Lifecycle”目录下的“clean”和“compile”脚本。 在I
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1.txt中的内容复制保存到input_data1
fka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下
nService把产生的日志收集到HDFS上,并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上
修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5
的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine