检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Conditions),以满足不同场景下的例外需求。 不同条件的优先级由高到低为:拒绝例外条件 > 拒绝条件 > 允许例外条件 > 允许条件。 系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。
选完全后,单击如下图的待操作的集群名,进行后面权限的选择。 图2 配置Yarn服务权限 选择“HDFS > 文件系统 > hdfs://hacluster/”,勾选“user”所在行的“权限”列的“读”、“写”和“执行”权限,单击“确定”,完成角色的创建。 图3 配置HDFS服务权限
“允许”的安全组规则;若没有则需单击“添加规则”放开9022端口。 例如当前用户访问集群的地址为10.x.x.x,则添加的安全组规则为: 图1 配置安全组 关于安全组的具体配置可参考:配置安全组规则。 安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址,如果当前网络为内
登录Manager。选择“租户资源”。 MRS 2.x及之前版本选择“租户管理”。 选择“资源池 > 添加资源池”。 设置资源池的属性。 MRS 3.x及之后版本: 图1 添加资源 “集群”:选择待添加资源池的集群名称。(MRS 3.3.0及之后版本集群无该参数) “名称”:填写资源池的名称。可包含数字、字
e Doris。 该组件当前为公测阶段,若需使用需联系技术支持申请白名单开通。 Doris架构 Doris整体架构如下图所示,FE和BE节点可以横向无限扩展。 图1 Doris架构 表1 参数说明 名称 说明 MySQL Tools Doris采用MySQL协议,高度兼容MySQ
获取软件包。 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 图1 下载客户端 在只安装单个服务的客户端的场景中,选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。
e、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件,进行海量数据分析与查询。 HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳
k/examples/streaming/WordCount.jar 作业提交成功后,客户端界面显示如下。 图2 在Yarn上提交作业成功 图3 启动session成功 图4 在session中提交作业成功 使用运行用户进入Yarn服务的原生页面,具体操作参考查看Flink作业信
t”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图4 查看Master1节点
Manager创建恢复ClickHouse任务并恢复数据。只支持创建任务手动恢复数据。 ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。 该功能仅MRS 3.1
age, t2.ts from table1 t1 join table2 t2 on t1.uuid = t2.uuid; 图1 join spec为NoUniqueKey 优化后SQL: create table table1( uuid varchar(20)
OPTION的权限。 ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。 FUNCTION CREATE [TEMPORARY] FUNCTION
其主要能力是通过对HQL(Hive Query Language)编译和解析,生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界面上创建一个LDAP中已存在的同名用户,并添加“hive”
读取和写入临时文件过程使用的缓存大小。单位:字节。 取值范围为:10240~10485760。 carbon.graph.rowset.size 100000 数据加载图步骤之间交换的行集大小。 最小值=500,最大值=1000000 carbon.number.of.cores
ervice是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。 图1 CDL使用流程 数据同步任务 CDL支持的数据同步任务类型: 表1 CDL支持的数据同步任务类型 数据源 目的端 描述 MySQL
┴──── ┴──────────┴───────── ┘ AggregatingMergeTree更常用的方式是结合物化视图使用,物化视图即其他数据表上层的一种查询视图。详细可以参考:https://clickhouse.tech/docs/en/engines/table-engin
读取和写入临时文件过程使用的缓存大小。单位:字节。 取值范围为:10240~10485760。 carbon.graph.rowset.size 100000 数据加载图步骤之间交换的行集大小。 最小值=500,最大值=1000000 carbon.number.of.cores
┴──── ┴──────────┴───────── ┘ AggregatingMergeTree更常用的方式是结合物化视图使用,物化视图即其它数据表上层的一种查询视图。详细可以参考:https://clickhouse.tech/docs/en/engines/table-engin
Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 图1 Hive结构 云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearc
x及以前版本: 当前慢盘故障告警的检查原理为: 在Linux平台上判断IO是否存在问题,输入命令iostat -x -t 1,观察svctm的值(如图所示红色框中的部分)。 svctm值表示该磁盘IO服务时间。 MRS 1.9.3.10及之后的补丁版本: svctm的获取方法: svctm