检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 已检测到JobServer任务队列中存在过多任务数（详细的任务队列使用情况，请参考本告警的附加信息字段），将导致如下影响： 当JobServer任务队
在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后进行处理，上传
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session =
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session =
出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式，将-hive-table改成-hcatalog-table。 父主题： Sqoop常见问题
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。 执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。 需要修改用户对应的委托的
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。 执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。 需要修改用户对应的委托的
根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周
HDFS客户端无法删除超长目录 问题背景与现象 执行hadoop fs -rm -r -f obs://<obs_path>命令，删除OBS超长目录出现如下报错： 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
该语法是使用SELECT查询结果创建物化视图。物化视图是一个数据库对象，它包含了一个查询的结果，例如：它可以是远程数据的本地副本，单表查询或者多表join后查询的结果的行或列、行和列的子集，也可以是使用聚合函数的汇总表。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。物化视图支持“查询重写”，这
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如何在存
获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 执行程序可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS存储路径：以“obs://”开头。示例：obs://wordcount/program/hadoop-mapreduce-examples-2
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
如何准备MRS的数据源？ MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息，该对象因Hadoop版本不同而不同。 id Job的id。 callback 回调的URL（如果有）。 例子
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
