检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按空格进行拆分，如“apple”，“orange”，“apple”，随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作，并将实时结果打印输出，如： apple：1 orange：1
件。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本
在Linux环境中调测Hive JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时，需要在客
Scala样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理： 当应用不涉及HBase时，即无需获取HBase Token。此时，将“spark.yarn.security.credentials.hbase.enabled”设置为“false”即可。 当应用涉及HBase时，将“spark
operator .shuffle() // Stateful mapper with ID .map(new StateFulMapper()) .uid("mapper-id") // ID for the mapper // Stateless printing sink .print();
((sTempOneLine = reader.readLine()) != null) { strBuffer.append(sTempOneLine); } LOG.info("result is : " + strBuffer
// 追加文件内容 append(); // 读文件 read(); // 删除文件 delete(); // 删除目录 rmdir(); } 父主题： 开发HDFS应用
println("word: " + word + ", count: " + count); } 父主题： 开发Storm应用
a-examples-*.jar”和application.properties上传到当前路径下面。 在Linux上创建路径“/opt/spring”，将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.j
Java样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
run时必须使用-yid指出applicationID，使用-yz指出zookeeper的namespace，前后namespace保持一致。 举例： bin/yarn-session.sh -n 3 -z YARN101 bin/flink run -yid application_****_****
JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。 父主题： Presto应用开发常见问题
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
时间差要小于5分钟。 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。 父主题： 准备Flink应用开发环境
该目录大小限制可查询结果集大小； Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 父主题： HBase应用开发常见问题
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访
println("Storage Policy is only supported in HDFS."); } } 父主题： 开发HDFS应用
gFiles.tar”，继续解压该文件。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 Windows本地hosts文件存放路
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
