检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
directory配置/home目录时，启动yarn-session失败的问题？ 为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010，运行时会报错？ 为什么新创建的Flink用户提交任务失败，报ZooKeeper文件目录权限不足？
留该租户资源的数据。”，否则将自动删除租户对应的存储空间。 如果使用不属于supergroup组的用户执行删除租户操作，并且不保留租户数据，需要使用属于supergroup组的用户登录HDFS客户端，手动清理租户对应的存储空间，以免数据残留。 如果确认删除，在弹出的“删除租户”窗口中输入“DELETE
storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink
MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名，OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置
0版本的集群对Storm日志的大小有什么限制？ 答： MRS 2.1.0版本的集群对Storm日志有不超过20G的限制，超出后会循环删除。 因为日志是保存在系统盘上，有空间限制。如果如需长期保存，则需要将日志挂载出来。 父主题： 组件配置类
”表示失败。 配置审计日志转储至OBS（MRS 3.x之前版本） MRS的审计日志长期保留在系统中，可能引起数据目录的磁盘空间不足问题，故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下，便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分，服务审计日志和管理审计日志。
ComponentName 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。
操作影响 打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点，分别执行以下操作。 以root用户登录节点，执行service
p目录存储空间是否已满。 执行以下命令检查“/srv/BigData/LocalBackup”目录存储空间是否已满： df -hl /srv/BigData/LocalBackup 是，执行7。 否，执行10。 执行以下命令清理不需要的备份文件： rm -rf 待清理的目录路径 例如：
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
Console页面Flink作业状态与Yarn上的作业状态不一致？ 问：为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ 答：为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications，减小yarn上
IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限，实现MRS用户对OBS桶下的目录权限控制。 例如，您只允许用户组A访问某一OBS桶中的日志文件，您可以执行以下操作来实现： 为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
数据存储在OBS和HDFS有什么区别？ MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储
获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从FTP服务器导入数据时，确保FTP服务器输入路径目录名、输入路径的子
获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从FTP服务器导入数据时，确保FTP服务器输入路径目录名、输入路径的子
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术，通过云服务的方式提供开放可信的平台。 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题： 配置MRS集群存算分离
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
