检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序(https://maxwells-daemon.io),通过读取MySQL的binlog日志
Presto如何配置其他数据源? 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“connector-customize
ClickHouse用户权限说明 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,
ClickHouse用户及权限管理 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式
Hive开源增强特性 Hive开源增强特性:支持HDFS Colocation HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。 Hive支持HDFS
Superior调度器模式下管理MRS全局用户策略 操作场景 如果租户配置使用Superior调度器,那么系统可以控制具体用户使用资源调度器的行为,包含: 最大运行任务数 最大挂起任务数 默认队列 管理MRS全局用户策略 添加策略 在FusionInsight Manager,单击
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
配置FlinkServer作业重启策略 FlinkServer作业重启策略介绍 Flink支持不同的重启策略,以在发生故障时控制作业是否重启以及如何重启。如果不指定重启策略,集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略,可参考如何创建FlinkServer作业在作业开发界面配置
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色,普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理
ClickHouse使用OpenLDAP认证 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类
无法访问MRS集群Manager页面如何处理? 问题现象 MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架,可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制,并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User、
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色,普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理
添加Impala的Ranger访问权限策略 本章节仅适用于MRS 3.1.5及之后版本。 操作场景 在创建完安装了Ranger组件的MRS集群后,Hive/Impala的权限控制集成在Ranger中,由于Impala复用Hive的权限策略,本章节主要介绍Hive组件如何集成在Ranger
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时,将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限,推荐安装安全模式集群。在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。MRS通过KrbServer为所有组件提供
删除MRS租户 根据业务需求,对于当前不再使用的租户,用户可以通过MRS删除租户,释放租户占用的资源。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse