检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 结构 Kerberos的原理架构如图1所示,各模块的说明如表1所示。 图1 原理架构 表1 模块说明 模块 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。
OBS是否支持ListObjectsV2协议? 问: OBS是否支持ListObjectsV2协议? 答: 不支持。 父主题: 周边生态对接类
S文件系统中。 方案架构 Flume-NG由多个Agent来组成,而每个Agent由Source、Channel、Sink三个模块组成,其中Source负责接收数据,Channel负责数据的传输,Sink则负责数据向下一端的发送。 图1 Flume-NG架构 表1 模块说明 名称
要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
driver不支持对接dbcp2数据库连接池。 dbcp2数据库连接池调用isValid方法检查连接是否可用,而Hive对于这个方法的实现就是直接报错。 父主题: 周边生态对接类
HBase同步数据到CSS为什么没有映射字段? 答: 从MRS的HBase同步数据到CSS服务后,整库没有映射字段,要单表才有映射的字段。 父主题: 周边生态对接类
应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移
企业多项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
MRS集群内的节点中可以部署爬虫服务吗? 答: 为正常保障集群稳定运行,MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题: 周边生态对接类
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。
创建对接OBS权限的委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,选择相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“visit_obs_agency” 委托类型:选择“普通账号” 委托的账号:输入被委托的华为云账号名称 持续时间:根据实际情况自定义
名称:socketTimeout 值:20 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 dbo 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存
名称:socketTimeout 值:20 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 dbo 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存
的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 为MRS集群选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行
mrs-1.8/src/hbase-examples/hbase-python-example/DemoClient.py。 父主题: 周边生态对接类
如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表。 如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接类
服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接类
e中抽取数据,然后将数据写入到文件服务器临时目录中。 在MapReduce作业的提交阶段,将文件从临时目录迁移到正式目录。 Loader的架构和详细原理介绍,请参见:https://sqoop.apache.org/docs/1.99.3/index.html。 父主题: Loader