检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改Manager用户 功能简介 通过访问Manager接口完成修改用户。 代码样例 以下代码片段是修改用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成修改用户 operationName
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 问题背景与现象 通过客户端提交任务,客户端返回内存溢出的报错结果: 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了,一般是由于该任务要读取的小文件很多导致内存不足。
授权后,用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群” 列表,单击对应集群名称,进入集群信息页面。检查安全组中是否正确配置了本地IP。
购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 问: 购买MRS集群时,为什么找不到HDFS、Yarn、MapReduce组件? 答: HDFS、Yarn和MapReduce组件包含在Hadoop组件中,当购买MRS集群时无法看到HDFS、Yarn和MapReduce
MRS集群用户绑定多个队列时系统如何选择队列? 问: MRS集群内属于同一个用户组,并且权限也相同的两个用户A和B,同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列,用户B的任务却一直提交到queueB队列? 答: MRS集群内用户绑定了多个队列时
DELETE 语法 DELETE FROM table_name [ WHERE condition ] 描述 从表中删除数据行。 当前版本,使用delete可以删除整个表的数据,或者分区表的指定分区。 对于事务表(指定了属性transactional = true),如果指定了where
LOAD 语法 LOAD DATA INPATH filepath [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=value1,partcol2=values2…)] 描述 LOAD DATA命令用于从文件或者文件夹加载数据到
COMMIT 语法 COMMIT [ WORK ] 描述 用于提交当前的事务。 示例 COMMIT; COMMIT WORK; 父主题: HetuEngine TCL SQL语法说明
SELECT 语法 [/*+ query_rewrite_hint*/] [ WITH [ RECURSIVE ] with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expression [, ...] [ FROM from_item
UNNEST UNNEST可以将ARRAY或MAP展开成relation。 ARRAYS展开为单独一列,MAP展开为两列(key,value)。 UNNEST还可以与多个参数一起使用,将被展开成多列,行数与最高基数参数相同(其他列用空填充)。 UNNEST可以选择使用WITH ORDINALITY
JOINS 允许合并多个relation的数据。 HetuEngine支持JOIN类型为:CROSS JOIN、INNER JOIN、OUTER JOIN(LEFT JOIN、RIGHT JOIN、FULL JOIN)、SEMIN JOIN和ANTI JOIN。 CROSS JOIN
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题: HetuEngine常见SQL语法说明
前提条件 集群已安装CDL、Hudi服务且运行正常。 Opengauss数据库需要开启预写日志功能,操作步骤请参考Opengauss数据库开启预写日志功能。
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息,可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename
Delete轻量化删除表数据 本章节主要介绍轻量化delete删除表数据的SQL基本语法和使用说明。 本章节仅适用于MRS 3.3.0及之后版本。 基本语法 DELETE FROM [db.]table [ON CLUSTER cluster] WHERE expr 使用示例 建表
配置描述 进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。