检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名
ClickHouse客户端使用实践 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper
IoTDB UDF概述 UDF(User Defined Function)即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。 UDF类型 IoTDB支持的UDF函数的类型如表1所示。 表1 UDF函数类型 UDF分类 描述 UDTF(User Defined
CarbonData表空间索引语法说明 快速示例 create table IF NOT EXISTS carbonTable ( COLUMN1 BIGINT, LONGITUDE BIGINT, LATITUDE BIGINT, COLUMN2 BIGINT
CarbonData表空间索引语法说明 快速示例 create table IF NOT EXISTS carbonTable ( COLUMN1 BIGINT, LONGITUDE BIGINT, LATITUDE BIGINT, COLUMN2 BIGINT
Flink性能调优建议 Hudi MOR流表开启log Index特性提升Flink流读Mor表性能 Hudi的Mor表可以通过log index提升读写性能,在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。 通过调整对应算子并行度提升性能
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 在本地
配置MRS集群告警阈值 集群Manager支持配置监控指标阈值用于关注各指标的健康情况,如果出现异常的数据并满足预设条件后,系统将会触发一条告警信息,并在告警页面中出现此告警信息。 配置MRS集群告警阈值(MRS 3.x及之后版本) 登录FusionInsight Manager。
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
Flink Scala API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群 > 服务
添加MRS租户 当租户需要根据业务需求指定资源使用情况时,可以在MRS创建租户。 添加MRS租户前提条件 根据业务需求规划租户的名称,不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源,则提前根据业务需要规划好存储路径,分配的完整存储路径在HDFS目录中不存在
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境