检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Flink安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交Flink应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。
快速创建和使用ClickHouse列式数据库集群 操作场景 本入门提供从零开始创建ClickHouse集群并通过集群客户端进行ClickHouse表的创建与查询操作指导。 ClickHouse是一款开源的面向联机分析处理的列式数据库,独立于Hadoop大数据体系,具有压缩率和极速查询性能。
编译并调测Flink应用 操作场景 在程序代码完成开发后,编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
快速创建和使用HBase离线数据查询集群 操作场景 本入门提供从零开始创建HBase查询集群并通过集群客户端进行HBase表的创建与查询操作指导。 HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写,有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群 > 服务
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务,当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。 该章节主要
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限,本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群,可对海量数据进行分析和处理,形成结果数据,供下一步数据应用使用。 离线处理对处理时间要求不高,但是所处理数据量较大,占用计算存储资源较多,通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
加密HFile和WAL内容 缺省情况下,HBase中的HFile和WAL(Write ahead log)内容是不加密的。如果用户需要对其进行加密,可通过该章节操作进行配置。 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大,一旦操作失误会导致数据丢失,不推荐使用此功能。
HDFS开源增强特性 HDFS开源增强特性:文件块同分布(Colocation) 离线数据汇总统计场景中,Join是一个经常用到的计算功能,在MapReduce中的实现方式大体如下: Map任务分别将两个表文件的记录处理成(Join Key,Value),然后按照Join Key
创建集群并提交作业 功能介绍 创建一个MRS集群并提交作业,并支持作业完成后删除集群,支持MRS 1.8.9及以上集群版本使用。使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息
功能总览 功能总览 全部 MapReduce服务 集群管理 文件管理 作业管理 运维管理 运营管理 用户权限管理 存算分离 Alluxio组件 CarbonData组件 CDL组件 ClickHouse组件 DBService组件 Doris组件 Flink组件 Flume组件 HBase组件
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限,本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已
使用Stream Load方式导入数据至Doris Stream Load是一个同步的导入方式,用户通过HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果,用户可直接通过请求的返回体判断本次导入是否成功。 Stream Lo
MRS集群用户账号一览表 本章节介绍MRS集群内的相关默认用户信息。 账号一览表(MRS 3.x及之后版本) 用户分类 MRS集群提供以下3类用户,请系统管理员定期修改密码,不建议使用默认密码。 用户类型 使用说明 系统用户 通过FusionInsight Manager创建,是
创建FlinkServer作业写入数据至Doris表 本章节适用于MRS 3.5.0及之后的版本。 操作场景 本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中,和Doris数据和Kafka数据的Lookup Join操作指导。 前提条件 集群中已安装D