检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“fl
示例请参考开发Spark应用。安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。由
bulkLoad接口将rdd写入HFile中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manage
start time: 1494333891969 final status: FAILED tracking URL: https://9-96-101-191:8090/proxy/application_1493689105146_0052/ user: spark2x
info("Exiting testPut."); } 注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类，因此，同一个HTable实例，不应该被多个线程同时使用，否则可能会带来并发问题。 父主题： HBase数据读写样例程序
"license" for more information. 客户端机器必须安装有setuptools，版本为47.3.1。可在https://pypi.org/project/setuptools/#files下载相应的安装包。 将下载的setuptools压缩文件复制到
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码，建议管理员定期重置组件数据库用户的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。 对系统的影响 重
修改MRS集群组件数据库用户密码 该任务指导用户定期修改组件数据库用户的密码，以提升系统运维安全性。 对系统的影响 修改密码需要重启服务，服务在重启时无法访问。 修改MRS集群组件数据库用户密码（MRS 3.1.0版本） 该操作仅适用于MRS 3.1.0版本，MRS 3.1.0之
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
160:2181/kafka --partitions 5 --replication-factor 1 --topic topic1 安全认证。 安全认证的方式有三种：Kerberos认证、SSL加密认证和Kerberos+SSL模式认证，用户在使用的时候可任选其中一种方式进行认证。
conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
ssBar(TOPOLOGY_NAME, config, builder.createTopology()); } 安全模式下需要执行安全准备，根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获
Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
准备Impala开发和运行环境 准备开发环境 在进行应用开发时，需要准备的本地开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
Oozie REST接口介绍 Oozie常用REST接口与Java一样。 Java API主要由org.apache.oozie.client.OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有： 1、报错类找不到：java
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
