检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 保存新的配置需要重启NodeManager角色实例,此时对应的角色实例不可用。 前提条件 已登录Manager。 操作步骤 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”。
从零开始使用CarbonData MRS 3.x之前版本参考本章节,MRS 3.x及后续版本请参考使用CarbonData(MRS 3.x及之后版本)。 本章节介绍使用Spark CarbonData的基本流程,所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务
如果每次对文件系统操作都获取此实例,会创建过多HDFS链接,消耗HDFS资源。
用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 父主题: Ranger权限策略配置示例
标签管理接口 给指定集群添加标签 查询指定集群的标签 删除指定集群的标签 批量添加集群标签 批量删除集群标签 查询所有标签 查询特定标签的集群列表 父主题: API V1.1
操作步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 在“配置资源权限”中,选择“待操作集群的名称 > Kafka”。
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
登录Manager页面,选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列,选择“更多 > 初始化密码”,根据界面提示操作。初始化完成后需要使用该用户登录一次MRS Manager。
默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。
对系统的影响 转换前,需要修改TimelineServer的服务端参数“TLS_FLOAT_IP”为一个可用的浮动IP(单实例时该配置默认使用节点业务IP)。 转换过程中,依赖TimelineServer角色会出现配置过期,需要重启配置过期的实例。
都没有触发数据计算的任务(Spark Streaming默认有两个尝试运行的Job,就是图中两个) 图2 Completed Jobs 回答 经过定位发现,导致这个问题的原因是:Spark Streaming的计算核数少于Receiver的个数,导致部分Receiver启动以后,系统已经没有资源去运行计算任务
Doris数据模型概述 基本概念 在Doris中,数据以表(Table)的形式进行逻辑上的描述。 一张表包括行(Row)和列(Column),Row即用户的一行数据,Column用于描述一行数据中不同的字段。Column可以分为Key和Value两大类,从业务角度看,Key和Value
时提示网络不可达 开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级
系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
ELB负载均衡 基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台Doris后端节点发生故障时,ELB通过故障转移方式正常对外提供服务,详细操作请参见配置通过ELB访问Doris集群。
Loader连接配置说明 本章节适用于MRS 3.x之前版本。 基本介绍 Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。 obs-connector generic-jdbc-connector ftp-connector或sftp-connector hbase-connector
变更计费模式概述 在购买MRS集群后,如果发现当前计费模式无法满足业务需求,您可以变更集群的计费模式,对应的IaaS基础设施资源费用同步变更。MRS仅支持将按需计费集群转为包年/包月集群,支持该变更计费模式的MRS计费项如表1所示。将MRS集群的计费模式从按需计费转为包年/包月,可以让您享受一定程度的价格优惠
*/ object SecurityKafkaWordCount { def main(args: Array[String]) { val ssc = createContext(args) //启动Streaming系统。
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库