检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动导入IoTDB数据 操作场景 该任务指导用户使用“import-csv.sh”将CSV格式的数据导入到IoTDB。 前提条件 已安装客户端,请参见。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt:数据输入文件
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
nitorServer实例的“业务IP”。 使用VNC方式,登录弹性云服务器。参见远程登录(VNC方式)。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。
create database. | com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:44) 2023-08-17 23:13:13,949 | INFO | main | Database created
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase,详情如下: 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群,支持FlinkServer对接HBase。
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
创建FlinkServer作业写入数据至HDFS文件系统 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍HDFS作为sink表的DDL定义,以及创建sink表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
快速开发Hive JDBC应用 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
HyperLogLog函数 HetuEngine使用HyperLogLog数据结构实现rox_distinct()函数。 数据结构 HyperLogLog(hll)是一种统计基数的算法。它实际上不会存储每个元素出现的次数,它使用的是概率算法,通过存储元素的32位hash值的第一个
值。 “path”目录是用来存放SSL keystore、truststore相关配置文件,该目录是由用户自定义创建。相对路径和绝对路径的不同导致执行命令存在差异,在3和4详细说明。 配置keystore或truststore文件路径为相对路径时,Flink Client执行命令
successfully 如果已经安装的全部服务或某个服务的客户端使用了“/opt/client”目录,再安装其他服务的客户端时,需要使用不同的目录。 卸载客户端请删除客户端安装目录。 如果要求安装后的客户端仅能被该安装用户(如“user_client”)使用,请在安装时加“-o”参数,即执行
create database. | com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:44) 2023-08-17 23:13:13,949 | INFO | main | Database created