检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris用户权限管理 Doris用户权限说明 创建Doris权限角色 配置Doris表的列权限管理 父主题: 使用Doris
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory本地磁盘缓存
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
管理CDL ENV变量 操作场景 如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。 前提条件 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用
数据文件加密机制。 完善的权限管理。 开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。 常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。
Flink对接应用运维管理(AOM) 本章节适用于MRS 3.5.0及之后的版本。 Flink对接AOM服务场景介绍 应用运维管理(AOM)服务是一个可观测平台,基于指标、链路、日志、事件全景数据监控,提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监
操作步骤 进入Kafka服务页面: MRS3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Kafka”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS
证书文件。 tls_key_file 证书密钥文件。 tls_ca_cert_file CA证书文件。 tls_ca_cert_dir CA证书所在的目录。 tls_cipher_suite 允许加密套件。 父主题: ClickHouse用户权限管理
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
值,作为DomainID。 单击“访问密钥”页签,单击“新增访问密钥”,输入验证码或密码。单击“确定”,生成并下载访问密钥,在.csv文件中获取AK/SK信息。 创建云服务委托并绑定集群 登录MRS云服务管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
作业管理类 MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理?
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
Spark Structured Streaming样例程序 Spark Structured Streaming样例程序开发思路 Spark Structured Streaming样例程序(Java) Spark Structured Streaming样例程序(Scala)
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理。 支持安全协议Kerberos,MRS使用LDAP作为账户管理系统,并通过Kerberos对账户信息进行安全认证。 提供单点登录,统一了MRS系统用户和组件用户的管理及认证。 对登录Manager的用户进行审计。
ClickHouse用户及权限管理 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。
在调用MRS服务API之前,请确保已经充分了解MRS服务相关概念,详细信息请参见产品介绍。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口,请在历史API中,获取相关接口。 终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点
tls_cert_file:证书文件。 tls_key_file:证书密钥文件。 tls_ca_cert_file:CA证书文件。 tls_ca_cert_dir:CA证书所在的目录。 tls_cipher_suite:允许加密套件。 父主题: ClickHouse用户权限管理
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。
元数据管理 当创建MRS集群选择部署Hive和Ranger组件时,MRS提供多种元数据存储方式,您可以根据自身需要进行选择: 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:MRS