检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TABLE person; 执行命令!q退出。 由于Hive加载数据将HDFS对应数据目录清空，所以需再次执行1。 父主题： 调测MapReduce应用
servers”的值，确保security.protocol协议类型和bootstrap.servers中的端口号匹配。 父主题： Kafka应用开发常见问题
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要： > superior application
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要： > superior application
如果Spark Streaming应用一直在运行，由于Kafka上topic的offset变小，会导致读取Kafka数据的起始位置比结束位置大，这样将无法从Kafka读取数据，应用报错。 如果在重启Kafka服务前，先停止Spark Streaming应用，等Kafka重启后，再重启Spark
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
private Long total = 0L; // window算子实现逻辑，统计window中元组的个数 void apply(Tuple key, TimeWindow window, Iterable<Tuple4<Long, String, String
r包版本。 可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
-HContent-type:application/json -d '{"userNames":["user888"]}' 'https://x.x.x.x:28443/web/api/v2/permission/users 父主题： Manager应用开发常见问题
total = 0L // window算子的实现逻辑，即：统计window中元组的数量 override def apply(key: Tuple, window: TimeWindow, input: Iterable[SEvent], out: Collector[Long]):
流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点（可以是多个） 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load"> <start to="copyData"/>
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致。 Kafka Java API接口介绍可直接参考开源社区。 详情请参见http://kafka.apache.org/documentation.html#api。 父主题： Kafka接口介绍
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server地址
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job
“客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径，建议写全路径。 说明： 当作业需要以yarn-application模式提交时，需替换如下路径，jar包版本号请以实际为准： specific_jars="file://"+os.getcwd()+"/
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
