检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
登录本端系统的FusionInsight Manager。 选择“系统 > 权限 > 用户”，检查本次业务操作的用户是否在已存在： 是，执行3。 否，执行4。 单击指定用户左侧的，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足，则需创建新角色并绑定用户，也可以直接修改用户的用户组或角色权限。
es”字段的Jar包。 在Windows或Linux上创建一个目录作为运行目录，如“D:\hive-rest-client-example”（Windows环境）或“/opt/hive-rest-client-example”（Linux环境），将1中生成的“target”目录下
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时，应用的所有状态能够从某一个检查点恢复，保证数据仅被处理一次（Exactly Once）。 SavePoint Savepoint是指允许用户在持久化存储中保存某个che
每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs
HetuEngine样例程序开发思路 HetuEngine样例程序（Java） HetuEngine样例程序（Python3） 父主题： HetuEngine开发指南（安全模式）
HCatalog访问Hive样例程序 基于Python的Hive样例程序 基于Python3的Hive样例程序 父主题： Hive开发指南（安全模式）
Rest接口调用样例程序 HBase ThriftServer连接样例程序 HBase访问多个ZooKeeper样例程序 父主题： HBase开发指南（安全模式）
在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用
删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略（Colocation） 父主题： HDFS开发指南（安全模式）
API样例程序 Flink读取HBase表样例程序 Flink读取Hudi表样例程序 PyFlink样例程序 父主题： Flink开发指南（安全模式）
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍 登录HDFS时会使用到如表1
在Windows或Linux上创建一个目录作为运行目录。 在Windows创建路径“D:\Spring”, 将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。 在Linux上创建路径“/
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”，不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成，如果需要修改为特定域名，系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
在Linux中调测Presto应用开发 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包，在工程目录target目录下获取，比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies
对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 streaming-site.xml 配置Storm详细参数。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/ho
JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
