检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/bin/flink run-application --detached -t yarn-application -Dyarn.application.name=py_kafka -Dyarn.ship-files=/opt/client/Flink/flink/yarnship/
情况 应用场景 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于华为云Map
Server页面用于展示已完成和未完成的应用的运行情况。 图1 History Server页面 选择一个应用ID，单击此页面将跳转到该应用的Spark UI页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 图2 Spark UI页面 通过查看Spark日志获取应用运行情况。 通过查看
value() + " offsets: " + record.offset()); } } } 父主题： 开发Kafka应用
在工程信息页面，填写工程名称和存放路径，设置JDK版本和Scala SDK，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Flink应用开发环境
FileAppend”，文件内容分别为“Hello, webhdfs user!”和“Welcome back to webhdfs!”。 touch testFile vi testFile Hello, webhdfs user! touch testFileAppend vi
b.append("(" + q + "," + Bytes.toLong(CellUtil.cloneValue(cell)) + ")") } else { b.append("(" + q + "
描述 getAgeOfLastAppliedOp() 返回类型：long 返回：上次成功的应用wal编辑的持续毫秒数 getTimeStampsOfLastAppliedOp() 返回类型：long 返回：上次成功的应用wal编辑的时间戳 getAppliedBatches() 返回类型：long
问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下： 在IDEA工具中，选择“File
问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下： 在IDEA工具中，选择“File
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
Server页面用于展示已完成和未完成的应用的运行情况。 图1 History Server页面 选择一个应用ID，单击此页面将跳转到该应用的Spark UI页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 图2 Spark UI页面 通过查看Spark日志获取应用运行情况。 可通过查
版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <batchTime>，其中<checkPointDir>指应用程序结果
except exception, e: print e 父主题： 开发Hive应用
jdbcLookupMapper); //JdbcInsertBolt 实例化 String tableName = "GOAL"; JdbcMapper simpleJdbcMapper = new SimpleJdbcMapper(tableName
<port>，启动一个简易的文本服务器。 启动应用程序连接netcat监测的port成功后，向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，构造Table
ee); } } messageNo++; } } 父主题： 开发Kafka应用
org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管
在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
