华为云用户手册

创建和配置 域名 托管 为了方便对您的自定义域名和静态网站统一管理，实现业务全面云化，您可以直接在华为云提供的云解析服务（Domain Name Service，DNS）上托管您的自定义域名。托管完成后，后续域名解析的管理都可以在云解析服务上进行，包括：管理记录集、管理反向解析、设置域名泛解析等等。 您也可以直接在域名注册商域名解析中，根据是否开启 CDN加速 来添加一条别名记录。 如果绑定自定义域名时开启了CDN加速，则添加的别名记录需指向CDN提供的加速域名。例如：域名“www.example.com”开启CDN加速后的加速域名为“www.example.com.c.cdnhwc1.com”，则需要在域名注册商添加一条值为“www.example.com CNAME www.example.com.c.cdnhwc1.com”的记录。 如果绑定自定义域名时未开启CDN加速，则添加的别名记录需指向桶的访问域名。例如：桶“example”所处区域“华北-北京一”，则需要在域名注册商添加一条值为“www.example.com CNAME example.obs.cn-north-1.myhuaweicloud.com”的记录。 使用云解析服务创建和配置域名托管的操作步骤如下： 创建公网域名。 在云解析服务中创建公网域名，使用准备工作中注册的根域名“example.com”作为创建公网域名。详细的创建方法请参见配置网站解析章节中的“添加域名”部分内容。 添加别名记录。 在云解析服务中为托管域名子域名“www.example.com”添加记录集，配置该子域名别名指向OBS的静态网站托管域名。在添加别名记录时参数配置如下： 主机记录：输入“www”。 类型：选择“CNAME – 将域名指向另外一个域名”。 线路类型：选择“全网默认”。 TTL(秒)：保持默认。 值：需指向的域名。如果绑定自定义域名时没有开启CDN加速，此处填写OBS的桶的静态网站托管域名；如果开启了CDN加速，此处填写CDN提供的加速域名（即CNAME）。 详细的创建方法请参见增加CNAME类型记录集。 在域名注册商处修改域名解析服务器地址。 在域名注册商处，将该根域名对应的NS记录中域名解析服务器地址修改为云解析服务（DNS）服务器的地址，具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。 更改后的域名解析服务器地址将于48小时内生效，具体生效时间请以域名注册商处的说明为准。

（后续操作）更新静态网站 后续如果需要对网站某个静态文件（如：图片、音乐、html文件、css文件等）进行更新，您可以重新上传该静态文件。但需要注意的是，默认情况下，在OBS同一路径下新上传的文件会覆盖OBS上已存在的同名文件。为避免文件覆盖的情况，您可以选择启用OBS的多版本控制功能。利用多版本控制，可以保留静态文件的多个版本，使您更方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据。

更新静态文件 登录OBS管理控制台。 在桶列表中单击待操作的桶，进入对象页面。 单击“上传对象”，或选择待更新文件所在文件夹后单击“上传对象”。 图13 上传对象 添加待上传文件。 不可加密上传静态网站文件。 存储类别建议选择“标准”。如果静态网站文件的存储类别为“归档存储”，则需要先恢复才能被访问，具体恢复步骤请参见恢复归档存储文件。 单击“上传”完成文件上传。 在同一路径下新上传的同名文件会作为“最新版本”显示在对象列表，每次访问此文件时，都是访问的此文件的最新版本，以此达到更新静态网站文件的效果。

配置自定义域名 单击桶名称进入“对象”页面，在左侧导航栏选择“域名管理”。 单击页面上方的“配置自定义域名”，如果没有绑定自定义域名也可以在页面下方的配置自定义域名卡片中单击“配置自定义域名”，在“用户域名”输入“www.example.com”，如下所示。 图5 配置自定义域名 单击“确定”。 根据页面提示，支持单击“一键解析”，或手动完成解析CNAME，单击右下角的“我已了解”，如图6所示。 华为云域名支持一键解析添加CNAME记录；非华为云域名不支持一键解析，请用户自行配置解析规则。 图6 解析CNAME （可选）配置CDN加速。 CDN加速需收费，具体请参见CDN价格说明。 在已绑定的自定义域名操作列，单击“开启加速”。 根据您的业务情况选取对应的“服务范围”和“业务类型”。 在“其他信息”栏目，勾选开启静态网站托管。 单击“确定加速”。 （可选）如果开启了CDN加速，需要按照以下步骤配置CDN加速。 在已绑定的自定义域名操作列，单击“管理CDN加速”。 在打开的CDN控制台页面，单击域名，然后再单击“高级配置”，进入域名高级配置页面。 在“高级配置”中的“HTTP header配置”中，添加“Content-Disposition”响应头，取值为“inline”。

上传静态网站文件 整理好待上传的静态网站文件，在OBS控制台重复执行以下步骤，直至所有的静态网站文件都上传至准备工作创建的桶中。 在支持批量上传的区域，OBS控制台每次最多支持100个文件同时上传，总大小不超过5GB，如果网站文件较多，建议使用OBS Browser+上传，具体操作步骤请参见使用OBS Browser+上传文件或文件夹。 单击待操作的桶名称，进入桶对象页面。 单击“上传对象”，系统将弹出如下所示对话框。 图3 上传对象 添加待上传的文件。 不可加密上传静态网站文件。 存储类别建议选择“标准”。如果静态网站文件的存储类别为“归档存储”，则需要先恢复才能被访问，具体恢复步骤请参见恢复归档存储文件。 网站首页文件（index.html）和404错误页面（error.html），需要存放在桶的根目录下。 单击“上传”完成文件上传。

配置加速域名 单击桶名称进入“对象”页面，在左侧导航栏选择“域名管理”。 单击页面上方的“配置加速域名”，弹出“配置加速域名”页面，如图7所示。 图7 配置加速域名 选择“服务范围”，选择“业务类型”，设置“加速域名”，单击“确定加速”。 根据页面提示，支持单击“一键解析”，或手动完成解析CNAME，单击右下角的“我已了解”，如图8所示。 华为云域名支持一键解析添加CNAME记录；非华为云域名不支持一键解析，请用户自行配置解析规则。 图8 解析CNAME 支持使用“自动刷新缓存”功能，如图9所示，在域名管理列表，找到需要创建自动刷新缓存的域名卡片，在“自动刷新缓存”的右侧单击“配置”，单击开启“自动刷新缓存”开关，出现配置页面。 仅在CDN域名完成解析的情况下，支持配置推荐配置。 不支持多版本桶；不支持目录刷新；不支持跨租户的CDN自动刷新。 如果配置的CDN域名变成非加速域名，5分钟内同一个非加速域名触发消息超过10 次，则取消自动刷新订阅。 对于CDN加速域名异常的自动刷新策略，加速域名恢复后，再次配置正常的策略可以重新订阅自动刷新。 图9 配置自动刷新缓存 配置自动刷新策略参数，完成后单击“确定配置”。 表2 事件触发器参数说明 参数 说明 事件 自动刷新策略生效的事件类型。目前，OBS支持以下事件类型： ObjectCreated：表示所有创建对象的操作，包含Put、Post、Copy对象以及合并段。 Put：Put上传对象事件。 Post：Post上传对象事件。 Copy：使用Copy方法复制对象事件。 CompleteMultipartUpload：表示合并分段任务。 ObjectRemoved：表示删除对象的操作。 Delete：删除对象事件。 前缀 自动刷新策略生效对象的前缀。 说明： 当前不支持目录刷新，前缀不能以“/”结尾。 后缀 自动刷新策略生效对象的后缀。 说明： 当前不支持目录刷新，后缀不能以“/”结尾。 IAM 委托 在使用OBS的部分特性时，需要使用IAM委托功能给OBS授予相关的权限，以委托OBS处理您的数据。 如果开启了CDN加速，需要按照以下步骤配置CDN源站信息。 在已绑定的自定义域名操作列，单击“管理CDN加速”。 在打开的CDN控制台页面，单击域名，进入域名基本配置页面。 在“源站配置”区域单击“编辑”按钮，在弹出的“修改源站信息”弹框中，勾选“静态网站托管”。 单击“确定”。 在“高级配置”中添加“Content-Disposition”响应头，取值为“inline”。 使能CDN加速后，根据托管的静态网站类型选择网站加速、文件下载加速或点播加速。CDN加速需收费，具体请参见CDN价格说明。

创建桶 桶名没有特殊要求，您只需要按照界面提示的命名规则创建一个桶用于存储静态网站文件。此处以创建一个桶名称为example的桶为例，其具体操作步骤如下： 打开OBS管理控制台，根据页面提示进行登录。 在页面上方单击“创建桶”。 在弹出的对话框中配置以下参数。 区域：根据就近原则选择离业务较近的区域。 默认存储类别：推荐选择“标准存储”。 您也可以根据网站的访问频率以及对响应速度的要求，选择“低频访问存储”或“归档存储”。存储类别详细介绍请参见桶存储类别简介。 桶名称：输入“example”。 桶策略：选择“公共读”使桶内对象能够被任何用户访问。 服务端加密：选择“不开启加密”。 企业项目：请先创建企业项目，默认为default企业项目，然后在创建桶时选择对应企业项目。仅企业账号能够配置企业项目。 单击“立即创建”，完成桶创建。

配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后，可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统，并访问其中的数据。 登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。

方式一：使用obsutil校验下载对象的一致性 obsutil支持在下载对象时通过附加参数（vmd5）来校验下载数据的一致性。 以在Windows操作系统下载mytestbucket桶中的test.txt文件至本地为例，开启数据一致性校验的步骤如下： 执行以下命令，检查待下载对象是否具有MD5信息。 obsutil stat obs://test-bucket/test.txt 返回的对象基本信息中，包含MD5信息，如下图所示，执行步骤2。 不包含MD5信息，下载对象时无法进行一致性校验。 执行以下命令，下载对象。 obsutil cp obs://mytestbucket/test.txt D:\test.txt -vmd5 对象下载成功且通过一致性校验，回显信息如下： 如果桶中对象没有MD5值，对象能够下载成功，但不会校验一致性，回显信息如下：

方式二：使用OBS Browser+校验下载对象的一致性 OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并下载对象的步骤如下： 登录OBS Browser+。 单击客户端右上方的，并选择“高级设置”。 勾选“MD5校验”，如图4所示。 图4 配置MD5校验 单击“确定”。 选择待下载文件的桶，下载文件。 如果MD5校验成功，则文件下载成功。 如果MD5校验失败，则文件下载失败，且在任务管理中提示失败原因：校验文件MD5失败。

方式三：使用OBS SDK校验下载对象的一致性 OBS SDK对待下载对象的自定义元数据中的MD5值和下载到本地的对象的MD5值进行对比，通过对比结果判断下载对象的一致性。 该功能的前提是对象自定义元数据中必须有MD5值字段，并且该字段表示的意思是原始对象的MD5值，否则取值会为空或者校验失败。 上传过程中设置MD5值到自定义元数据中的示例代码请参考方式三：使用OBS SDK校验上传对象的一致性。 此处以使用OBS Java SDK下载mytestbucket桶中一个名为test.txt的文本文件为例，下载过程使用MD5值校验数据一致性的示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 String endPoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量AC CES S_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 创建ObsClient实例 final ObsClient obsClient = new ObsClient(ak, sk, endPoint); // 获取对象的MD5值 ObjectMetadata metadata = obsClient.getObjectMetadata("mytestbucket", "test.txt"); String md5Origin = metadata.getUserMetadata("contentMd5"); // 计算下载后对象的MD5值 Obsobject obsobject = obsClient.getObject("mytestbucket", "test.txt"); String md5Download = obsClient.base64Md5(obsobject.getObjectContent()); // 对比MD5值 if(md5Origin.contentEquals(md5Download)) System.out.println("Object MD5 validation passes!\n"); else System.out.println("Object MD5 validation failed!\n");

方式二：使用OBS Browser+校验上传对象的一致性 OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并上传对象的步骤如下： 登录OBS Browser+。 单击客户端右上方的，并选择“高级设置”。 勾选“MD5校验”，如图3所示。 图3 配置MD5校验 单击“确定”。 选择待上传文件的桶，上传文件。 如果MD5校验成功，则文件上传成功。 如果MD5校验失败，则文件上传失败，且在任务管理中提示失败原因：校验文件MD5失败。

方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下，OBS不会进行一致性校验，您可以通过以下方式在上传下载时主动启用校验。 各种方式的一致性校验结果互通，即无论您使用以下何种方式在上传时通过了一致性校验，都可以使用其他方式在下载时校验一致性。 下载对象时，只有当待下载对象具有MD5值时，MD5校验才会生效。 启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具，可以通过简单的一行命令实现上传下载，并且在命令中选择是否采用MD5校验。 使用obsutil校验上传对象的一致性 使用obsutil校验下载对象的一致性 OBS Browser+ 图形化界面工具，可以一键开启或关闭MD5校验，同时提供任务管理，方便查看校验状态。 使用OBS Browser+校验上传对象的一致性 使用OBS Browser+校验下载对象的一致性 OBS SDK 开发者可以通过OBS SDK进行二次开发，自行判断MD5校验结果，并根据实际业务进行结果处理。 使用OBS SDK校验上传对象的一致性 使用OBS SDK校验下载对象的一致性 上传对象时，OBS会先在客户端计算出对象的MD5值然后携带上传至OBS，OBS服务端再根据上传的对象内容计算出MD5值，最终与携带上传的MD5值进行对比，如果对比结果一致，对象上传成功，否则上传失败。使用MD5值对上传数据进行一致性校验的示意图如图1所示。 图1 校验上传对象的一致性 下载对象时，OBS会将对象已有的MD5值与根据下载的对象内容计算出来的MD5值进行对比，如果对比结果一致，对象下载成功，否则下载失败。使用MD5值对下载数据进行一致性校验的示意图如图2所示。 图2 校验下载对象的一致性

方式一：使用obsutil校验上传对象的一致性 obsutil支持在上传对象时通过附加参数（vmd5）来校验数据的一致性。 以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例，开启一致性校验的命令示例如下： obsutil cp D:\test.txt obs://mytestbucket/test.txt -vmd5 校验通过后，对象上传成功，系统显示Upload successfully的回显信息。

方式三：使用OBS SDK校验上传对象的一致性 OBS提供Java、Python等多种语言的SDK，各SDK通过在上传对象时设置对象的Content-MD5值以开启一致性校验。如何计算并设置对象MD5值请前往OBS SDK参见各自开发指南的setObjectMetadata接口。 此处以使用OBS Java SDK上传Windows本地D盘一个名为text.txt的文本文件至mytestbucket为例，上传过程使用MD5值校验数据一致性的示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 String endPoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); // 计算并设置MD5值 ObjectMetadata metadata = new ObjectMetadata(); File file = new File("D:\\text.txt"); FileInputStream fis = new FileInputStream(file); InputStream is = (InputStream)fis; String contentMd5 = obsClient.base64Md5(is); metadata.setContentMd5(contentMd5); // 带MD5值上传文件 obsClient.putObject("mytestbucket", "text.txt", file, metadata); 对象数据的MD5值必须经过Base64编码。 OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比，如果不匹配则上传失败，返回HTTP 400错误。如果匹配，对象上传成功，返回HTTP 200状态码。

背景介绍 现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件，并将OBS作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时，用户通过URL直接从OBS请求数据，数据请求过程如图1所示。OBS能够很好的解决本地存储不够用的难题，但一般情况下文件只存储在一个区域，不同区域的用户访问OBS的响应速度存在差异。在需要频繁访问的场景下，直接访问OBS来获取相应文件，还会消耗大量的流量费用。 图1 从OBS获取数据过程

资源与成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 必选 OBS：存放图片、软件包等静态资源的桶，存储类别为“标准存储”或“低频访问存储”（归档与深度归档存储不支持直接配置CDN加速），桶策略为“私有”。 CDN：提供点播加速。 DNS：通过在域名服务商处配置CNAME记录，将加速域名以CNAME方式指向CDN服务中对应的CNAME域名，域名解析生效后，该域名的所有请求都将转向CDN节点。 网站域名：根据中国《互联网管理条例》的要求，此域名必须在工信部已备案并在有效期内才可以使用CDN加速。 成本规划 必选 OBS费用：详见OBS计费说明。 CDN费用：详见CDN计费说明。 可选 回源流量包：当回源获取数据时，CDN访问OBS会产生回源流量。OBS提供回源流量包，可以减少回源流量产生的流量费用。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台显示为准。

方案说明 OBS提供低成本的存储，华为云CDN可以提供网站加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配置CDN加速，这样构造的业务系统可以在降低成本的同时，提高终端用户使用感受。当终端用户发起访问请求时，会首先通过CDN查找对此域名响应速度最快的CDN节点，并查询此节点是否有缓存终端用户请求的内容。 在CDN节点没有缓存用户请求的数据或缓存到期的情况下，CDN加速访问OBS的示意图如图2所示。 图2 CDN加速访问OBS示意图（CDN无缓存） 当其他终端用户再次访问相同的数据时，CDN将直接返回缓存的数据给终端用户，而无需再向OBS发起访问请求。在CDN有缓存的情况下，CDN加速访问OBS的示意图如图3所示。 图3 CDN加速访问OBS示意图（CDN有缓存） 方案优势 低成本：OBS提供CDN回源流量包折扣方式，使CDN从OBS获取数据时流量费用更低。当数据缓存至CDN节点时，后续请求都将通过CDN回源流量计费，从而减少OBS费用。 高效率：华为云CDN具有加速资源丰富、节点分布广泛优势，保证将用户请求精准调度至更优的边缘节点，提供有效且稳定的加速效果。 适用场景 通过OBS提供文件下载业务的应用或服务。例如：通过http/https提供文件下载业务的网站、工具下载、游戏客户端、APP商店等。 通过OBS提供音 视频点播 业务的应用或服务。例如：在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。

配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置

约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件，会有带宽浪费。 由于网络延迟，元数据操作（如列举目录）性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器，但数据一致性需由您自行维护，避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交互采用HTTP/HTTPS协议，客户端CPU开销会较大。 因为客户端存在操作系统元数据缓存，可能导致该缓存失效前，客户端元数据与存储服务端元数据呈现不一致现象。 因使用FUSE框架存在内核态与用户态切换，不适合高并发场景。

应用场景 对于原本使用本地文件系统存储数据的用户，希望把数据存储在OBS上但不改变数据的访问方式，推荐使用s3fs。 s3fs是一款基于用户空间文件系统（Filesystem in Userspace，简称FUSE）的文件系统工具，支持您在Linux系统中，将OBS对象桶挂载到本地文件系统，让您能够像操作本地文件一样操作对象，实现数据的共享。关于s3fs的更多信息，请参见GitHub。如果您在s3fs使用过程中遇到问题，请参见常见问题进行排查。

常见参数说明 表1 常见参数说明 参数 说明 tmpdir 参数解释： 临时数据缓存目录。 s3fs在进行读写时，默认会使用一部分本地目录空间作为临时数据缓存用来提高性能。 建议选择磁盘目录，而不是共享内存目录。 说明： 可使用df -h 命令来查询目录类型及容量使用情况。 示例： [root@huawei-esc ~]# df -h /tmp Filesystem Size Used Avail Use% Mounted on /dev/vda1 40G 20G 19G 52% / [root@huawei-esc ~]# df -h /run Filesystem Size Used Avail Use% Mounted on tmpfs 32G 3.3G 29G 11% /run /tmp目录类型是/dev/vda1，是磁盘。 /run目录类型是tmpfs，是共享内存。 默认取值： /tmp ensure_diskfree 参数解释： 临时缓存目录保留空间，单位：MB。 注意： 若不设置此值，tmpdir指定目录有被打满风险，可能会影响其他进程的运行。 建议设置tmpdir指定目录可用容量的10%。 默认取值： 0 compat_dir 参数解释： 兼容目录，s3fs尽可能支持目录类型的对象，并将其识别为目录。 可以识别为目录对象的对象有“dir/”、“dir_$folder$”。 注意： 1.92版本必须添加此挂载参数，否则无法显示桶内的多级目录对象。 例：使用sdk创建对象：a/b/c或a/b/c/，若不添加此参数将无法显示目录a。 注：s3fs识别以‘/’为结尾的对象为目录。 默认取值： 无 allow_other 参数解释： 允许其他用户访问挂载目录。 默认取值： 无 umask 参数解释： 配置文件权限的掩码，使用此参数会覆盖并行文件系统内所有文件的权限。 默认取值： 0000 nonempty 参数解释： 添加该参数后允许在非空目录上挂载。 默认取值： 无 multipart_size 参数解释： 以多段上传模式上传文件时，段的大小，单位为MB。段的大小会影响能够上传的文件大小，具体参考多段上传。 取值范围： 5~5120，单位：MB。 默认取值： 10 no_check_certificate 参数解释： 对服务端的证书不做校验，仅在使用HTTPS协议时有效，默认开启证书校验。 默认取值： 无 use_cache 参数解释： 用于本地文件缓存的地址，使用该参数后，IO性能会提升，但是磁盘占用会升高，可以和del_cache配合使用。 默认取值： ""（表示不使用缓存） del_cache 参数解释： s3fs进程在启动和退出时删除本地缓存文件。 默认取值： 无 更多参数详见s3fs-fuse。

资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts： AI开发平台 ，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。 说明： 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 成本规划 OBS费用：详见OBS计费说明。 SFS Turbo费用：详见SFS计费说明。 ModelArts费用：详见ModelArts计费说明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一 数据湖 存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时，可参考支持的大数据组件简介完成与OBS对接。 （可选）如果您的数据仍存储在本地HDFS，需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题： 大数据场景下使用OBS实现存算分离

更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。 hadoop-huaweicloud-x.x.x-hw-y.jar包含义：前三位x.x.x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 执行以下命令，将OBSA-HDFS工具jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）拷贝到如下目录中。 cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/share/hst/activity-explorer/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/spark2/jars/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/tez/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/CAPACITY-SCHEDULER{1.0.0}/WEB-INF/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/FILES{1.0.0}/WEB-INF/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/WORKFLOW_MANAGER{1.0.0}/WEB-INF/lib/ ln -s /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud.jar

在HDFS集群中增加配置项 在HDFS集群CONFIGS的ADVANCED配置项中增加Custom core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、sk和endpoint。访问密钥AK/SK和终端节点Endpoint请根据实际填写，AK/SK获取方式请参见访问密钥（AK/SK），Endpoint获取方式请参见终端节点（Endpoint）和访问域名。 fs.obs.impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。 重启HDFS集群。

增加Hive对接OBS的jar包 执行以下命令，在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令，将OBSA-HDFS工具的jar包放到auxlib文件夹。 cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。

配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在 对象存储OBS 存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击创建资源中创建的HPC型文件系统，进入文件系统详情页面。 进入页签“绑定后端存储”，单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中，填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录，该目录将绑定对应的OBS桶 子目录名称不能重复 子目录名称必须是文件系统根目录下不存在的目录名 子目录名称不能是“.”或“..” 不支持 桶名 OBS存储桶桶名 无法绑定不存在的存储桶 目前仅支持OBS存储桶，不支持并行文件系统 不支持 OBS Endpoint OBS区域域名 OBS存储桶必须和HPC型文件系统在同一个Region 不支持 勾选“将OBS桶读写权限授权给SFS Turbo服务进行OBS目标绑定”。 单击“确定”，完成绑定。 父主题： 基本配置

修订记录 发布日期 修订记录 2021-08-04 第十四次正式发布。 修改 云服务类型参数说明，新增NAT网关。 2021-07-26 第十三次正式发布。 修改 首次备案，修改表3。 首次备案，补充网站负责人的概念描述。 首次备案~修改备案申请/资料，初审结果新增待完善资料场景。 2021-06-18 第十二次正式发布。 修改 变更备案，修改操作场景的描述。 首次备案~变更备案，补充广东管局《互联网信息服务备案承诺书》内容。 2021-05-31 第十一次正式发布。 修改 新增接入（原备案不在华为云），修改短信核验的描述。 首次备案~变更备案，补充江苏省ICP备案真实性核验新要求。 2021-01-29 第十次正式发布。 修改 首次备案，新增主体信息参数说明。 新增接入（原备案不在华为云），增加后续处理，补充主体信息/网站信息填写说明。 2020-10-14 第九次正式发布。 修改 首次备案~新增互联网信息服务（原备案不在华为云），补充描述：如果存在备案中的订单，无法新增备案。 2020-09-16 第八次正式发布。 新增 认领备案 修改 首次备案~新增互联网信息服务（原备案不在华为云），更新产品验证操作。 删除 导入原备案信息 2020-08-21 第七次正式发布。 修改 首次备案~注销互联网信息服务，短信核验修改为必选操作。 备案短信核验 新增接入（原备案不在华为云）、注销主体，修改备案密码的描述。 更新工信部备案管理系统链接。 2020-07-07 第六次正式发布。 修改 “云服务类型”的参数说明，补充示例。 2020-05-29 第五次正式发布。 新增 修改备案申请/资料 “主体信息”的参数说明，包括：补充手机号码归属地不一致的说明。 “网站信息”的参数说明，包括：网站语言。 “上传资料”的参数说明，包括：域名证书、其他证件、实名认证截图、前置审批文件、党建证明等。 2020-04-24 第四次正式发布。 新增 “主体信息”的参数说明，包括个人备案、单位备案。 “网站信息”的参数说明，包括网站名称、网站服务内容、服务类型、前置审批内容、网站负责人信息。 修改 变更备案，增加“示例：营业执照地址变更”。 变更备案，修改变更备案类型，新增须知。 首次备案，补充上传资料的参数说明、真实性核验的常见问题超链接。 2020-04-16 第三次正式发布。 新增 “验证备案类型”的参数说明，包括地域、主办单位性质、证件类型、域名、云服务类型。 2020-03-09 第二次正式发布。 新增 转移备案 修改 各备案类型的操作场景。 2020-02-21 第一次正式发布。

修订记录 发布日期 修订记录 2021-08-04 第十四次正式发布。 修改 云服务类型参数说明，新增NAT网关。 2021-07-20 第十三次正式发布。 修改 首次备案，修改表2、补充网站负责人的概念描述、优化流程、截图、内容描述。 修改备案申请/资料，新增订单状态为“接入商审核为待修改”。 首次备案~转移备案，初审结果新增待完善资料场景。 2021-06-18 第十二次正式发布。 修改 变更备案，修改操作场景的描述。 首次备案~变更备案，补充广东管局《互联网信息服务备案承诺书》内容。 2021-05-31 第十一次正式发布。 修改 新增接入（原备案不在华为云），修改短信核验的描述。 首次备案~变更备案，补充江苏省ICP备案真实性核验新要求。 转移备案 2021-01-29 第十次正式发布。 修改 首次备案，新增主体信息参数说明。 新增接入（原备案不在华为云），增加后续处理。 2020-10-15 第九次正式发布。 支持在PC端上传资料。 2020-09-16 第八次正式发布。 新增 认领备案 修改 首次备案~新增互联网信息服务（原备案不在华为云），更新产品验证操作。 删除 导入原备案信息 2020-08-21 第七次正式发布。 修改 首次备案~注销互联网信息服务，短信核验修改为必选操作。 备案短信核验 新增接入（原备案不在华为云）、注销主体，修改备案密码的描述。 更新工信部备案管理系统链接。 2020-07-07 第六次正式发布。 修改 修改使用PC备案时登录备案系统的截图。 “云服务类型”的参数说明，补充示例。 2020-05-29 第五次正式发布。 新增 修改备案申请/资料 “主体信息”的参数说明，包括：补充手机号码归属地不一致的说明。 “网站信息”的参数说明，包括：网站语言。 “上传资料”的参数说明，包括：域名证书、其他证件、实名认证截图、前置审批文件、党建证明等。 2020-04-24 第四次正式发布。 新增 “主体信息”的参数说明，包括个人备案、单位备案。 “网站信息”的参数说明，包括网站名称、网站服务内容、服务类型、前置审批内容、网站负责人信息。 修改 注销主体 注销互联网信息服务 2020-04-16 第三次正式发布。 新增 “验证备案类型”的参数说明，包括地域、主办单位性质、证件类型、域名、云服务类型。 2020-03-09 第二次正式发布。 新增 转移备案 修改 各备案类型的操作场景。 2020-02-21 第一次正式发布。