检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取数据，然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
fSystem.mkdirs(filePath); } return true; } 父主题： 开发HDFS应用
fSystem.mkdirs(filePath); } return true; } 父主题： 开发HDFS应用
a-examples-*.jar”和application.properties上传到当前路径下面。 在Linux上创建路径“/opt/spring”，将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。
sqlList.add(createDisSql); util.exeSql(sqlList); } 父主题： 开发ClickHouse应用
batch time is {} ms", allBatchEnd - allBatchBegin); 父主题： 开发ClickHouse应用
@throws java.io.IOException */ private void append() throws IOException { final String content = "I append this content."; FSDataOutputStream
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.j
Java样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
run时必须使用-yid指出applicationID，使用-yz指出zookeeper的namespace，前后namespace保持一致。 举例： bin/yarn-session.sh -n 3 -z YARN101 bin/flink run -yid application_****_****
JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。 父主题： Presto应用开发常见问题
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
时间差要小于5分钟。 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。 父主题： 准备Flink应用开发环境
该目录大小限制可查询结果集大小； Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 父主题： HBase应用开发常见问题
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访
gFiles.tar”，继续解压该文件。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 Windows本地hosts文件存放路
sessionEnableRedirect.close(); session.close(); } 父主题： 开发IoTDB应用
Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
严格的说，用户只给有状态的算子分配IDs即可，因为在savepoint中仅包括有状态的算子的状态，没有状态的算子并不包含在savepoint中。 在实际应用中，强烈建议用户给所有的算子均分配ID，因为有些Flink的内置算子，如window算子是有状态的。具体哪个算子是有状态的，哪个算子是无状
sessionEnableRedirect.close(); session.close(); } 父主题： 开发IoTDB应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
