检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com
为了管理集群中数据与资源的访问控制权限,推荐安装安全模式集群。在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。MRS通过KrbServer为所有组件提供Kerberos认证功能,实现了可靠的认证机制。 LdapServer支持轻量目录访问协议(Lightweight
该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Fs”按钮,将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE DIRECTORY+”,添加待创建的HDFS目录。例如“/user/admin/
资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加10个标签。 节点的标签仅支持在节点创建完成后,在节
通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制用户对资源的访问范围。例如您的员工中有负责应用开发的人员,您希望开发人员拥有MapReduce服务的使用权限,但是不希望其拥有删除MRS集群等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用MRS但是
的时间点为准,终点以集群删除时间为准。 MRS集群从创建到启动需要一定时长,计费的起点是创建成功(即集群的状态由初始的“启动中”更新为“运行中”)的时间点,而非创建时间。您可以在现有集群列表的所在集群“创建时间”列查看集群创建成功的时间点。 例如,您在8:45:30购买了一台按需
配置说明表 配置名称 含义 principal 准备开发用户时创建的用户名。 user.keytab.path 准备开发用户时创建的用户的认证文件“user.keytab”所在路径。 krb5.conf.path 准备开发用户时创建的用户的认证文件“krb5.conf”所在路径。 conf
w算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window算子在规定时间内没有向CheckpointCoordinator报告快照制作完成,CheckpointCoordinator认为快照制作失败,如图2所示。 图1 时间监控信息 图2 关系图 回答
w算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window算子在规定时间内没有向CheckpointCoordinator报告快照制作完成,CheckpointCoordinator认为快照制作失败,如图2所示。 图1 时间监控信息 图2 关系图 回答
Source可以获取到HBase的Connection。 通过Connection判断表是否存在,如果不存在则作业失败,需要通过HBase Shell创建表或上游作业创建表。 读取HBase中的数据,将Result数据转化成Row对象发送给下游算子。 父主题: Flink读取HBase表样例程序
用户通过HetuEngine服务创建数据库需要加入Hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限,可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。
导出MRS集群配置参数 管理员可以将MRS集群中各组件的关键服务端配置参数导出,用于快速检查或者备份集群内组件配置。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBa
在Hive中使用时,将UDF中用到的文件“foo.txt”上传到HDFS上,如上传到“hdfs://hacluster/tmp/foo.txt”,使用以下语句创建UDF,在UDF中就可以直接操作“foo.txt”文件了: create function testFunc as 'some.class'
是 无 数据处理规则 将字段值输出到表中。 样例 以HBase导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句: create table test_1 (id int, name text,
HDFS) 操作场景 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。
x之前版本。 使用流程 通过Loader迁移用户数据时,基本流程如下所示。 访问Hue WebUI的Loader页面。 管理Loader连接。 创建作业,选择数据源的连接以及保存数据的连接。 运行作业,完成数据迁移。 Loader页面介绍 Loader页面是基于开源Sqoop WebU
Manager页面中配置Alluxio的底层存储系统来实现。集群创建后,默认的底层存储地址是hdfs://hacluster/,即将HDFS的根目录映射到Alluxio。 前提条件 已安装Alluxio服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 配置HDFS作为Alluxio的底层文件系统
使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan
(Project) 企业项目 (Enterprise Project) 创建集群并执行作业(V1) POST /v1.1/{project_id}/run-job-flow mrs:cluster:create √ √ 创建集群(V2) POST/v2/{project_id}/clusters