检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase的Shell接口同开源社区版本保持一致,请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。
HBase的Shell接口同开源社区版本保持一致,请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。
SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表,用SparkSQL读取该表时报错: 原因分析 该问题为一个开源社区问题:https://issues.apache.org/jira/browse/HIVE-11102,使用开源的hive 1.2.1版本包就有可能触发此问题
HBase的Shell接口同开源社区版本保持一致,请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。
Ranger统一鉴权特性 特性说明:在Kafka 2.4.0之前版本,Kafka组件仅支持社区自带的SimpleAclAuthorizer鉴权插件,Kafka 2.4.0及之后版本,MRS Kafka同时支持Ranger鉴权插件和社区自带鉴权插件。
支持字母、数字、下划线,首位必须为字母或数字,且长度不能超过128位。 单击“Bulk edit column names”右侧的,可批量对列重新命名。输入所有列的名称并使用逗号分隔。 在“Column Type”选择每个列的类型。
业界主流大数据发行版均支持Sqoop的安装,如果是自建的社区版大数据集群,可下载社区版Sqoop进行安装。借助Sqoop来解耦导出的元数据与关系型数据库的强依赖,将Hive元数据导出到HDFS上,与表数据一同迁移后进行恢复。 参考步骤如下: 在源集群上下载并安装Sqoop工具。
状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。
对于普通模式ClickHouse对接普通模式HDFS组件,和开源社区能力保持一致。不支持ClickHouse和HDFS处于不同模式集群的场景对接。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。
IoTDB开源增强特性:安全加固 用户认证支持Kerberos、通道SSL加密,兼容社区方式。 IoTDB开源增强特性:生态对接 在原生的能力上,增强集群版MQTT对接。 父主题: IoTDB
使用场景 当前开源社区提供了可插拔的Payload机制,用于满足客户各种聚合需求。但Payload的开发有一定的门槛,因此MRS内置了一些常见的聚合函数满足客户日常需求。该特性允许用户使用Hudi自带的聚合函数实现相同主键的聚合操作。
MRS集群Kerberos认证介绍 Hadoop社区版本提供两种认证方式Kerberos认证(安全模式)和Simple认证(普通模式),在创建集群时,MRS支持配置是否启用Kerberos认证,集群创建完成后不支持修改。
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期MapReduce框架中的JobTracker性能瓶颈,开源社区引入了统一的资源管理框架YARN。
场景说明 当前开源社区提供了PartialUpdateAvroPayload机制实现部分列更新,但该功能在多流更新,每条流更新不同列场景下会出现数据相互覆盖的问题。 通过引入sequence组的概念,Hudi可以很好的解决该问题,实现真正的部分更新。
由于一个用户可以属于多个组(包括主组和附属组,主组只有一个,附属组可以有多个),设置用户的主组是为便于维护以及遵循hadoop社区的权限机制。此外用户的主组和其他组在权限控制方面,作用一致。 根据业务实际需要,在“角色”,单击“添加”,为单个用户绑定角色。
报文格式可以包含字母、数字、下划线、 空格、|、 $、 {、 }、 点、中划线,并且不能超过1024个字符。 说明: 报文格式中信息域的说明请参考表3。 报告信息类型 故障 设置需要上报的告警类型。 MRS 3.x及之后版本:请参考表3。
MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。
Hive开源增强特性:支持开启Transform功能 Hive开源社区版本禁止Transform功能。 MRS Hive提供配置开关,Transform功能默认为禁止,与开源社区版本保持一致。