检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在kafka客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not suppo
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not suppo
导出本地jar包,请参见打包Strom样例工程应用。 将1中导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。 执行命令提交拓扑。 storm jar /opt/jartarget/source.jar com
添加Artifacts 选择“extract to the target JAR”后,单击“OK”。 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 为避免导入不必要Jar包引起Jar包冲突,您只需要加载IoTDB相关的基础Jar包,分别是: flink-iotdb-connector-*
的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 样例代码 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com
的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com
rs.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问
-1.0.jar。 将打好的jar包,以及开发好的yaml文件及相关的properties文件拷贝至storm客户端所在主机的任意目录下,如“/opt”。 执行命令提交拓扑。 storm jar /opt/jartarget/storm-examples-1.0.jar org.apache
IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。
Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1: 最常见的无法提交任务原因是认证失败, 还有可能是参数设置不正确。 问题2: 集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中,如果提示yarn的包找不到,一般都是因为hadoop的相关配置没有设置。
createTopology()); } } 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 获取下列jar包: 在安装好的db数据库目录下进入lib目录,获取如下jar包: derbyclient.jar derby.jar 在Storm客户端的“streaming-cql-
获取相关jar包,获取方法如下: 在Storm客户端的“streaming-cql-<HD-Version>/lib”目录中获取如下jar包: flux-core-<version>.jar flux-wrappers-<version>.jar 获取业务相关其他jar包,如访问
”。 操作步骤 准备操作 使用root用户登录RTDServer所在节点,获取关系型数据库对应的驱动Jar包,本场景需要获取“opengaussjdbc-V500R002C00.jar”。 cd ${BIGDATA_HOME}/FusionInsight_FARMER_RTD_*
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method
jar;,排查是否引入了非法字符。 如果是,修改非法字符,重新执行命令。 重新执行命令后,发生其他错误,查看该jar包的属主属组信息,发现全为root。 修改jar包的属主属组为omm:wheel,重新执行成功。 父主题: 使用Spark
文件名作为参数。 获取相关jar包。获取方式如下: 在安装好的HBase客户端目录下找到目录HBase/hbase/lib,获取如下jar包: hbase-*.jar hadoop-*.jar jackson-core-asl-<version>.jar jackson-mapper-asl-<version>
请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 样例工程运行依赖包参考信息 Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部
1-hw-ei-311001-SNAPSHOT.jar spark-token-provider-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。
告警解释 系统周期性检测HQL平均提交时间,该时间为调用MapReduce/Spark/Tez接口提交Yarn作业的时间,包含上传依赖的临时Jar包、切分文件等时间。当最近5分钟HQL的平均提交时间超过阈值时上报该告警。 当最近5分钟HQL的平均提交时间小于阈值时,告警恢复。 该章节适用于MRS