检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例，若要使用http协议，需要执行以下操作： 将REST接口切换成HTTP协议方式，请参见配置基于HTTPS/HTTP协议的REST接口。 将示例中的“--insecure”去掉，将https替换成http，例如
配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
API和旧Consumer API。 Kafka访问协议说明 Kafka当前支持四种协议类型的访问：PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 Kafka服务启动时，默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的访问监测。可通过设置Kafka服务配置“ssl
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
Insight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。 本章节适用于MRS 3.x及以后版本。 以omm用户登录主管理节点。 用户只需
HDFS客户端无法删除超长目录 问题背景与现象 执行hadoop fs -rm -r -f obs://<obs_path>命令，删除OBS超长目录出现如下报错： 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
如何准备MRS的数据源？ MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。
支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式： 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库 从HBase中导出数据到SFTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP服务器
任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析
jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 执行程序可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS存储路径：以“obs://”开头。示例：obs://wordcount/program/hadoop-mapreduce-examples-2
EXISTS resource_obs_hot_cold PROPERTIES ( "type" = "obs", "obs.bucket" = "3创建的OBS并行文件系统名称", "obs.root.path" = "数据存储的根目录"， "obs.region" = "Doris服务所在集群所属区域"
MRS导入数据至HDFS 04:30 MRS导入数据至HDFS MapReduce服务 MRS 配置存算分离并使用Hive访问OBS 05:47 配置存算分离并使用Hive访问OBS MapReduce服务 MRS 登录MRS集群节点 04:08 登录MRS集群节点 MapReduce服务 MRS
持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份HBase元数据 在FusionInsight Manager，选择“运维
访问控制 审计安全 密码安全 数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：MRS支持将数据备份到OBS（对象存储服务）中，支持跨区域的高可靠性。 备份：MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP协议。 操作步骤
SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx 原因分析 按
hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
