检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。
如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。
如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。
准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表4所示(根据需要获取所需文件)。 表4 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。
如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败,出现如下类似报错:“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。
修复Manager Web 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份“$OM_TOMCAT_HOME/bin/catalina.sh”文件。
Consumer消费数据失败,提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。
修复Flink 前提条件 已获取FusionInsight Manager登录地址及admin账号。
Spark Structured Streaming样例程序(Java) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
通过ThriftServer实例操作HBase表 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。
如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载客户端到本地并解压。
准备MRS应用开发用户时获取的keytab认证文件也放置于该目录下。
Spark Structured Streaming样例程序(Scala) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
Spark Structured Streaming样例程序(Java) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
Spark Structured Streaming样例程序(Scala) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
Spark Structured Streaming样例程序(Scala) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。
修复Manager nodeagent 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$NODE_AGENT_HOME/bin/nodeagent_ctl.sh文件。