检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 使用root用户登录安装Flume客户端的节点。
任务完成后Container挂载的文件目录未清除 问题 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。
任务完成后Container挂载的文件目录未清除 问题 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。 回答 即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。
使用Spark小文件合并工具说明（MRS 3.3.0及之后版本） 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这
HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个
权衡当前需要创建的Topic创建完成后，会不会达到文件句柄上限，每个Partition文件夹下会最多保存多大的数据，会产生多少个数据文件（*.log文件，默认配置为1GB，可通过修改log.segment.bytes来调整大小）和索引文件（*.index文件，默认配置为10MB，可通过修改log
访问Hue原生页面时间长，文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否，请联系运维人员处理。 是，重启HttpFS实例解决。
可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹，然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件（job.properties）。 请参见配置Oozie作业运行参数。 编写Workflow任务文件“workflow
示信息。如果文件为第一次查看，则将当前文件大小与0作比较，如果大于0则读取该文件。 分组的情况下，如果执行的app没有job处于执行状态，则part文件为空，即JobHistory服务不会读取该文件，此app也不会显示在JobHistory页面上。但如果part文件大小之后有更新
Duration 检查基于时间的滚动策略的时间间隔。 分区目录的文件合并。 支持文件压缩，允许应用程序具有更小的检查点间隔，而无需生成大量文件。 仅压缩单个检查点中的文件，即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的，因此文件的可见性是：检查点间隔+压缩时间之后。如果压缩时间太长，将延长检查点的时间段。
必须保证“flume-env.sh”生效之后，再执行6配置“properties.properties”文件。 若在本地配置该文件，配置完成后可参考如下步骤在Manager界面上传配置文件。若操作顺序不规范，可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。
aLoad/”。 可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹，然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件（job.properties）。 请参见配置Oozie作业运行参数。
必须保证“flume-env.sh”生效之后，再执行5配置“properties.properties”文件。 如果在本地配置该文件，配置完成后可参考如下步骤在Manager界面上传配置文件。如果操作顺序不规范，可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。
令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进行离线分析，统计出网站各模块的访问频率（日志文件存放在HDFS中）。 通过客户端中模板与配置文件提交任务。 父主题： 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置文件，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进行离线分析，统计出网站各模块的访问频率（日志文件存放在HDFS中）。 通过客户端中模板与配置文件提交任务。 父主题： 开发Oozie配置文件
读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：P
p显示信息。若文件为第一次查看，则将当前文件大小与0作比较，如果大于0则读取该文件。 分组的情况下，如果执行的app没有job处于执行状态，则part文件为空，即JobHistory服务不会读取该文件，此app也不会显示在JobHistory页面上。但若part文件大小之后有更新
可能会导致部分需要连接此节点的操作（如重启、同步配置、实例状态查询等）失败，如果有多个节点互信失效可能会影响业务。 可能原因 /etc/ssh/sshd_config配置文件被破坏。 omm密码过期。 处理步骤 查看/etc/ssh/sshd_config配置文件状态。 打开FusionInsight Manag
ClickHouse写入分布式表时发送数据文件到远端分片失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 ClickHouse实例分布式表检查模块300秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse写入分布式表的节点无法正常发送数据文件到远端分片节点。
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
