检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
社交媒体等各种数据源。通过数据采集和提取,将原始数据收集到大数据平台进行后续处理和分析。 数据集成: 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作,以确保数据的一致性和准确性。 数据存储: 大数据平台需要具备高效的
租户管理 添加租户 租户命令简介 父主题: Doris集群管理
类角色。 租户默认角色如表1所示。 表1 华为乾坤租户角色表 角色分类 角色名称 说明 公共角色 说明: 对于普通租户(非租户管理员和非租户审计员),只有授权了目标服务角色,才能使用该服务。如站点管理、工单管理、订阅管理等。 租户管理员 具备所有服务的读、写权限。 租户审计员 具备所有服务的读权限。
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。安全模式或者普通模式集群均提供鉴权能力,组件的具体权限项在两种模式中相同。
查询租户的aksk 功能介绍 查询租户的aksk。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/apm2/access-keys 请求参数 表1 请求Header参数
absolute Object 租户配额信息,详情请参见表3。 表3 absolute数据结构说明 参数 参数类型 描述 maxTotalInstances Integer 云服务器最大申请数量。 maxTotalCores Integer 当前租户所有的CPU核数最大申请数量。 maxTotalRAMSize
String 实例ID,开通的交换数据平台实例ID。 获取方法请参考获取实例ID。 表2 Query参数 参数 是否必选 参数类型 描述 domain_id 是 String 租户ID。 参数校验规则:最大长度50。 domain_name 是 String 租户名称。 参数校验规则:最大长度100。
ALM-50227 Doris租户查询并发数超过阈值 告警解释 系统每30秒周期性检查租户FE节点的查询并发数,当检查到该值超出阈值(默认值为90%)时产生该告警。 当检测到FE的查询并发数低于阈值时,告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别
车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。 优势 大数据ETL:具备TB
MRS集群节点规格说明 MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。
Worker:负责执行任务和处理数据。 Connector:HetuEngine访问数据库的接口,HetuEngine通过Connector的驱动连接数据源,读取数据源元数据和对数据进行增删改查等操作。 Catalog:HetuEngine中一个catalog配置文件对应一个数据源,一个数据源可以有多
欢迎使用MapReduce服务(MapReduce Service,MRS)。MRS服务提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 您可以使用本文档提供API对MRS服务进行相关操作,如创建集群、删除
更新租户订购状态 功能介绍 更新租户订购状态。 URI URI格式 PUT /softcomai/datalake/datacollect/v1.0/order/updateOrderStatus 参数说明 无。 请求 请求样例 PUT https://ip:port/softc
前提条件 成功登录华为乾坤控制台,并拥有以下权限之一:(1)系统预置角色:租户管理员。 (2)自定义角色:“用户租户服务”中工作组、管理对象相关权限。 背景信息 新注册的华为乾坤帐号相当于根工作组管理员,角色为“租户管理员”,具备所有操作权限。 根工作组管理员可以继续创建下级工作组,最
创建存算分离集群 该示例帮助您创建MapReduce服务 ,在新建集群中配置现有委托实现存算分离,并开启Kerberos认证。 MRS版本:3.2.0-LTS.1 集群类型:分析集群 有关MapReduce服务 MRS详细使用指导请参考MRS产品文档。 登录MapReduce服务 MRS控制台,在导航栏选择“MRS集群
在云管理平台上配置租户网络业务 配置认证授权的准备信息 配置AP业务 父主题: 部署指导
在云管理平台上配置租户网络业务 配置认证授权的准备信息 配置AR业务 父主题: 部署指导
息队列),支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。 数据存储 MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。 HDFS是大数据上通用的分布式文件系统。 OBS是对象存储服务,具有高可用低成本的特点。
如果已开启应急模式将无法使用多因素认证。请参考提交工单,填写工单信息,获取当前租户的应急模式状态,并根据需要关闭应急模式。 操作步骤 登录管理控制台。 在导航中依次选择“租户配置 > 认证配置”。 进入“认证配置”页面。 单击“辅助认证配置”页签,在“多因素认证配置”下,单击“开启”。
HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。 在FusiongInsight Manager首页,单击“租户资源”页面选择上报告警的租户名称,单击“资