检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本概念 使用OBS API涉及的常用概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的
DNS通过桶默认域名解析请求到OBS服务器的IP地址。 OBS返回服务器的IP地址给客户端。 客户端向OBS服务器IP地址发起Host为自定义域名的请求。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
客户端加密简介(Java SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至OBS服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。
客户端加密简介(Python SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至 OBS 服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。
判断是否内网访问的方法如下: 在ECS中ping需要确认的OBS桶的全局域名,如果响应的IP地址为100网段或214网段,则说明ECS访问此OBS桶为内网访问。
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时
一方面损害了原网站的合法利益,另一方面又加重了服务器的负担。因此,产生了防盗链技术。 在HTTP协议中,通过表头字段referer,网站可以检测目标网页访问的来源网页。有了referer跟踪来源,就可以通过技术手段来进行处理,一旦检测到来源不是本站即进行阻止或者返回指定的页面。
此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在ECS上,搭建Nginx反向代理服务器。用户对代理无感知,只需要将请求发送到反向代理服务器,然后由反向代理服务器向OBS获取数据,再返回给用户。
约束限制: 不涉及 取值范围: GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。
详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。 更改后的域名解析服务器地址将于48小时内生效,具体生效时间请以域名注册商处的说明为准。
proxyConfig.proxyHost = @"host" proxyPort 代理服务器的端口号。 proxyConfig.proxyPort = @"port" username 连接代理服务器时使用的用户名。
控制台浏览器兼容性 OBS管理控制台支持的浏览器版本如表1所示: 表1 OBS管理控制台支持的浏览器版本 浏览器 版本 Internet Explorer Internet Explorer 9及以后 Firefox Firefox 1及以后 Chrome Chrome 1及以后
任务管理 管理运行队列 管理已暂停队列 管理已完成队列 管理恢复中队列 管理失败队列
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持在线预览对象而是以附件形式下载对象的生效时间和区域如下