检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。
就像写入一样，压缩也使用记录有效负载类将日志中的记录彼此合并，再次与基本文件合并，并生成压缩后要写入的最终记录。
场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
此时需要把作业生成的聚合日志调小，使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。
hdfs diskbalancer -plan <Hostname| IP Address> 此条命令可以根据传入的DataNode生成一个Json文件，该文件包含了数据移动的源磁盘、目标磁盘、待移动的块等信息。同时，该命令还支持指定一些其他网络带宽参数等。
调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。
“OBS”：表示将备份文件保存在OBS中（仅MRS 3.5.0及之后版本支持）。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/xxx/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。
场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64），单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
拓扑提交成功后，可以向Kafka中发送数据，观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令： .
调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。
添加密码策略 登录FusionInsight Manager。 选择“系统 > 权限 > 安全策略 > 密码策略”。 单击“新增密码策略”，根据界面提示，修改密码策略。 具体参数参见表1。
cd/opt/client/HDFS/hadoop/hdfs-c-example sourcecomponent_env_C_example 清除之前运行生成的目标文件和可执行文件，运行如下命令。
图4 任务配置 选择“作业管理”的“表/文件迁移”页签，在待运行作业的“操作”列单击“运行”，即可开始HDFS文件数据迁移，并等待作业运行完成。 步骤3：检查迁移后的文件信息 登录迁移目的端集群主管理节点。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。
saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上，然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。
对等集群中的数据索引数据将会自己生成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
