检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt:数据输入文件
properties --spark-memory 12g 指定clustering的排序方式和排序列: 当前clustering支持linear、z-order、hilbert三种排序方式,可以通过option方式或者set方式来设置。 linear:普通排序,默认排序,适合排序一个字段, 或者多个低级字段。
FAST_DIFF:使用的编码方式为“FAST_DIFF”。 {}内的参数为指定列簇的参数,多个列簇可以用多个{}并用逗号隔开。关于建表语句的更多使用说明可以在hbase shell中执行help 'create'进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在
FAST_DIFF:使用的编码方式为FAST_DIFF。 {}内的参数为指定列簇的参数,多个列簇可以用多个{},然后用逗号隔开。关于建表语句的更多使用说明可以在hbase shell中执行help 'create' 进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在
为9998(ficommon)才可执行。 解决办法 共有两种方式解决该问题。 方式一:通过storm原生页面查看进程堆栈 登录Storm原生界面。 MRS Manager界面操作: 访问MRS Manager。 在Manager选择“服务管理 > Storm”,在“Storm 概述”的“Storm
IoTDB Java API接口介绍 IoTDB提供了一个针对原生接口的连接池(SessionPool),使用该接口时,您只需要指定连接池的大小,就可以在使用时从池中获取连接。如果超过60s没有得到一个连接,就会打印一条警告日志,但是程序仍将继续等待。 当一个连接被用完后,该连接
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
HBase Java API接口介绍 HBase采用的接口与Apache HBase保持一致,请参见http://hbase.apache.org/apidocs/index.html。 新增或修改的接口 HBase 0.98.3建议使用org.apache.hadoop.hbase
本章节适用于MRS 3.3.0及以后版本。 通过HSBroker方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver"
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口,SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见: http://phoenix.apache.org/language/functions.html 其支持语法可参见: http://phoenix
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
例工程。 如果集群启用了安全服务,按登录方式需要进行以下配置。 keytab方式:需要从管理员处获取一个“人机”用户,用于认证,并且获取到该用户的keytab文件。 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的renewable和for
按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API。 Python API 提供Python语言的API。
IoTDB支持的数据类型和编码 IoTDB支持如下几种数据类型和编码方式,参见表1。 表1 IoTDB支持的数据类型和编码 类型 说明 支持的编码 BOOLEAN 布尔值 PLAIN、RLE INT32 整型 PLAIN、RLE、TS_2DIFF、GORILLA、FREQ、ZIGZAG
(state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题: 使用Hive
安装补丁前必读 补丁基本信息 MRS_3.1.0_TROS_Tools_patch_20240430补丁基本信息及解决问题列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。
安装补丁前必读 补丁基本信息 MRS 3.3.1-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。 安装补丁前提条件 集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群
mpala客户端是基于Python2实现的,和Python3部分语法不兼容,运行Impala客户端会报错,所以需要手动安装Python2以解决客户端运行问题。 处理步骤 使用root用户登录Impala所在节点,执行如下命令,确认当前系统上安装的Python版本: python --version