检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题： HDFS开发指南
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题： 使用ClickHouse
补丁下载地址 华北-北京一：https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.
如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份HDFS NameNode元数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 Hive对接CSS服务 使用MRS Hive表对接OBS文件系统
“OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件 配置ClickHouse对接Kafka 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse
obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二：https://mrs-container1-patch-cn-east-2.obs.cn-east
obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。
问题现象 报错如下： CREATE SCHEMA hive.sf2 WITH (location = 'obs://obs-zy1234/sf2');Query 20200224_031203_00002_g6gzy failed: Access Denied: Cannot create
org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only
Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题： Storm开发指南
数据存储在OBS和HDFS有什么区别？ 10亿级数据量场景的解决方案有哪些？ zstd的压缩比有什么优势？
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时，日志报错
source bigdata_env 操作步骤 获取MapReduce上已完成任务的具体信息 命令： curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2
登录对象存储服务OBS控制台，单击“并行文件系统 > 创建并行文件系统”，填写以下参数，单击“立即创建”。 表2 并行文件系统参数 参数名称 参数说明 取值样例 区域 桶所属区域。 华北-北京四 数据冗余存储策略 多AZ存储：数据冗余存储至多个可用区（AZ），可靠性更高。
如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份CDL业务数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。
1.8.10.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表： MRS Manager 优化补丁机制 MRS大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS
>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop import命令从PgSQL导出数据到Hive时报错 通过Sqoop读取MySQL数据并写parquet文件到OBS
访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 添加OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
