检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入登录密码和短信验证码,单击“确定”,下载密钥,请妥善保。 操作步骤 准备使用Spark SQL分析的数据源。 样例txt文件如下: abcd3ghji efgh658ko
defaultFS)? 答: 当前不建议在服务端修改或者新增集群内HDFS NameSpace(fs.defaultFS),如果只是为了客户端更好的识别,则一般可以通过修改客户端内“core-site.xml”,“hdfs-site.xml”两个文件的相关参数进行实现。 父主题: 组件配置类
操作场景 MRS集群中的节点可以使用主机安全服务(Host Security Service,HSS)提供的主机管理、风险预防、入侵检测等功能,识别并管理主机中的信息资产,实时监测主机中的风险并阻止非法入侵行为,帮助企业构建服务器安全体系,降低当前服务器面临的主要安全风险。 约束与限制
完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。 对于管理员创建IAM用户接口,返回如图1所示的消息头,其中“x-subject-to
名称 描述 HDFS HDFS提供REST接口与Hue交互,用于查询、操作HDFS文件。 在Hue把用户请求从用户界面组装成接口数据,通过调用REST接口调用HDFS,通过浏览器返回结果呈现给用户。 Hive Hive提供THRIFT接口与Hue交互,用于执行Hive SQL、查询表元数据。
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(安全模式)
查询用户(组)与IAM委托的映射关系 功能介绍 获取用户(组)与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
安全加固后是否启用:是 httpfs.http.port 14000 25018 HttpFS HTTP服务器侦听的端口。 该端口用于: 远程REST接口连接HttpFS。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
的RESTful接口,而RESTful接口本身具有语言无关性的特点,凡是支持HTTP请求的语言都可以对接OpenTSDB。 使用Java API操作OpenTSDB OpenTSDB提供了基于HTTP或HTTPS的应用程序接口,可以使用Java API调用相关接口操作其数据,详情请参考开发程序章节。
建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。 参数名称 参数描述 输入值 说明
Project_Id 项目ID,在大多数API接口调用时需要配置在uri中,用以识别不同的项目。 AK/SK 访问密钥对,包含密钥ID与密钥。AK/SK用于对请求内容进行签名。 URI API接口的调用路径及参数。 请参考各云服务的详细接口章节获取,MRS的接口请参考API概览。 X-Domain-Id
不能对外提供服务,客户端操作可能无法正常执行。 启用Region Transition恢复功能 在HMaster上设置chore服务,用于识别和恢复长期处于transition的region。 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase
对外提供服务,导致客户端操作可能无法正常执行。 启用Region Transition恢复功能 在HMaster上设置chore服务,用于识别和恢复长期处于Transition的Region。 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase
JDBCServer连接失败 问题现象 提示ha-cluster不识别(unknowHost或者必须加上端口)。 提示连接JDBCServer失败。 原因分析 问题1:使用spark-beeline命令连接JDBCServer,因为MRS_3.0以前的JDBCServer是HA模式,因此需要使用特定的URL和MRS
code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误,看文件后缀是gzip压缩,堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题,Map日志中
添加MRS集群节点标签 标签是集群/节点的标识。为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。 集群标签:可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加20个标签。更新集群标签会将标签同步到该集群下的所有节点上。
海量数据存储:利用HBase实现海量数据存储,并实现毫秒级数据查询。 分布式数据查询:利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。
回答 复制表副本版本不一致存在兼容性问题,表结构中有TTL语句,ClickHouse 20.9之后版本新加了TTL_DELETE,之前的版本不识别,高版本复制表副本被选作leader时会出现该问题。 可修改高版本ClickHouse 配置文件config.xml文件做规避,需尽可能保证复制表副本见ClickHouse
集群运维 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息
Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动的NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。这样,每个新客户端可以首先尝试从缓存加载活动的Name