检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows环境中调测IoTDB应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
快速开发ClickHouse应用 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点: 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,本例中将数据以Avro格式存储在HBase中,并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表:
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows 7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
切换MRS租户资源调度器 操作场景 新安装的MRS集群默认即使用了Superior调度器,集群管理员可以根据实际情况参考以下指导切换集群调度器。 前提条件 确保集群网络通畅,网络环境安全,Yarn服务状态正常。 在切换调度器期间,不允许做添加、删除、修改租户,以及启停服务等操作。
编译并调测Flink应用 操作场景 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
快速创建和使用HBase离线数据查询集群 操作场景 本入门提供从零开始创建HBase查询集群并通过集群客户端进行HBase表的创建与查询操作指导。 HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分
服务端配置过期后更新MRS集群客户端 MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 针对MRS 2.x及之前版本集群,用户创建集
迁移MRS集群内ClickHouse数据至其他MRS集群 本章节仅适用于MRS 3.2.0及之后版本。 操作场景 场景一:随着MRS ClickHouse业务数量的增长,原有集群的存储和计算资源已不满足业务需求,需要对集群进行拆分,将部分用户业务及数据库数据迁移到新建集群中。 场景二:MRS
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
使用CDM服务迁移MySQL数据至MRS Hive 应用场景 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
安装Flume客户端 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
添加Hive的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Hive用户进行相关的权限设置。Hive默认管理员账号为hive,初始密码为Hive@123。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt:数据输入文件
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时,如果需要缩容ClickHouseServer节点,需参考本章节进行缩容前的数据检查,避免在删除节点过程中造成数据丢失。 缩容ClickHouseServer约束限制 表1 ClickHouseServer缩容约束
使用Grafana对接IoTDB数据库 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 IoTDB支持对接Grafana,对接成功后,即可通过Grafana丰富的图形报表展示能力,对IoTDB中的时序数据进行图形化展示,以分析时序数据的变化趋势等信息。
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题
IoTDB UDF概述 UDF(User Defined Function)即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。 UDF类型 IoTDB支持的UDF函数的类型如表1所示。 表1 UDF函数类型 UDF分类 描述 UDTF(User Defined