检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS
capacity_length int 必选 使用容量的缓存大小。 capacity char * 必选 使用容量。 object_number_length int 必选 对象数目的缓存大小。 object_number char * 必选 对象数目的缓存。
由于缓存的存在，授予OBS相关的策略后，大概需要等待10~15分钟策略才能生效。 父主题： 对当前账号下多个IAM用户或用户群组授权
请求来源的客户端可缓存的该CORS请求的响应时间为100秒。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。
磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法： 重新执行下载命令。 obsutil在下载的时候默认开启断点续传，此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。 如果问题未能解决，请将obsutil升级到最新版本再进行下载。
访问CDN加速域名，CDN上源站类型配置“源站域名”，如果未命中CDN缓存，会产生OBS公网流出流量和CDN流量。 访问CDN加速域名，CDN上源站类型配置“OBS桶域名”，如果未命中CDN缓存，在购买了回源流量包的情况下会产生OBS回源流量和CDN流量。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。
由于缓存的存在，配置桶策略后，最长需要等待5分钟策略才能生效。 桶策略模板： OBS控制台预置了八种常用典型场景的桶策略模板，用户可以使用模板创建桶策略，快速完成桶策略配置。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。
登录CDN控制台，在“预热刷新 > 缓存刷新”中，刷新CDN缓存，使桶策略在CDN加速域名生效。
客户端使用CDN加速访问OBS：当客户端发起访问请求时，会首先通过CDN查找对此域名响应速度最快的CDN节点，并查询此节点是否有缓存客户端请求的内容。如果有缓存，则由CDN节点直接返回数据；如果无缓存，则由CDN节点从OBS获取数据后返回给客户端并将数据缓存至CDN节点上。
图8 解析CNAME 支持使用“自动刷新缓存”功能，如图9所示，在域名管理列表，找到需要创建自动刷新缓存的域名卡片，在“自动刷新缓存”的右侧单击“配置”，单击开启“自动刷新缓存”开关，出现配置页面。 图9 配置自动刷新缓存 配置自动刷新策略参数，完成后单击“确定配置”。
缓存时间 必选参数，请求来源的客户端可以缓存的CORS响应时间，以秒为单位，默认为100秒。 单击“确定”。 “CORS规则”页签显示“创建CORS规则成功”提示创建桶的CORS配置成功。CORS配置会在两分钟内生效。
图8 解析CNAME 支持使用“自动刷新缓存”功能，如图9所示，在域名管理列表，找到需要创建自动刷新缓存的域名卡片，在“自动刷新缓存”的右侧单击“配置”，单击开启“自动刷新缓存”开关，出现配置页面。 图9 配置自动刷新缓存 配置自动刷新策略参数，完成后单击“确定配置”。
背景知识 事件网格（EventGrid，简称EG）是华为云提供的一款Serverless事件总线服务，支持华为云服务云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格，通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构
status_return_size int 必选 多版本状态缓存大小。 status_return char * 必选 多版本状态缓存。 handler obs_response_handler * 必选 回调函数。 callback_data void * 可选 回调数据。
必选参数，请求来源的客户端可以缓存的CORS响应时间，以秒为单位，默认为100秒。
OBS数据一致性校验 应用场景 对象数据在上传下载过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下，OBS不会进行一致性校验，您可以通过以下方式在上传下载时主动启用校验。
指定对象被下载时的网页的缓存行为。 默认取值： 无 ContentDisposition string 可选 参数解释： 响应中的Content-Disposition头。指定对象被下载时的名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
