检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 上传和下载文件 OBS存储类型的Notebook 在创建Notebook时,如果“存储配置”选择的是“OBS”。Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作,即Notebook中的数据和OBS中的数据是同步的。在OBS路径中创建文件夹、上传数
配置OBS访问权限 OBS服务 OBS全称Object Stroage Service(对象存储服务),提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 宫颈癌细胞病理筛查API支持直接使用华为云OBS服务进行数据的存储,以减少服务使用成本,降低服务的响应时长,提升服务使用的体验。
与其他云服务的关系 统一身份认证服务(IAM) 统一身份认证(Identity and Access Management,简称IAM)是华为云提供权限管理的基础服务,可以帮助您安全地控制华为云服务和资源的访问权限。 医疗智能体使用IAM实现认证功能。 对象存储服务(OBS) 对象存储服务(Object
载到Notebook中。 图1 上传和下载文件 OBS存储类型的Notebook Notebook列表中所有文件的读写操作是基于所选择的OBS路径下的内容操作,即Notebook中的数据和被挂载的OBS路径中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebo
配额说明 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 EIHealth平台应用的基础设施如下: 统一身份认证(IAM) 容器镜像服务(SWR) 对象存储服务(OBS) 关于如何查看配额,如何申请扩大配额,请参见“《用户指南》
数据管理简介 盘古辅助制药平台使用对象存储服务(OBS)存储原始数据、作业执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“复制数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
数据管理简介 EIHealth平台使用对象存储服务(OBS)存储原始数据、流程执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“导入数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
使用sync命令让本地源路径下的所有内容和OBS指定目标对象进行数据同步,使两边内容保持一致。 增量:依次比较源文件和目标对象,只上传存在变化的源文件。 同步:命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。 命令结构
支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。 --cpd -C 否 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 每个分段上传任务会产生唯
单击“存储路径”右侧文件夹图标,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。 包含本项目桶最多挂载6个,不包含本项目桶最多挂载5个。 用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作。 参数
D5值一致。 必须与--crr参数配合使用。源桶中对象必须包含元数据x-obs-md5chksum,否则会忽略MD5值校验。MD5值校验通过后,会将该值设置为目标对象元数据x-obs-md5chksum,用于下载或复制时校验MD5。 --parallel -p 否 每个分段复制任
使用本地盘加速时,需保证购买的计算节点带有“数据盘”。OBS桶中的数据不支持本地盘加速,使用OBS桶中数据用于本地盘加速,可能会导致作业运行失败。 使用OBS桶中的数据投递作业时,当数据大于40G时作业会投递失败。 使用OBS桶中的数据投递作业时,作业将数据copy至云硬盘后,数
支持带容量单位配置,例如,配置1MB代表1048576字节。支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。 --cpd -C 否 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 每个分段移动任务会产生唯
本地盘加速:使用计算节点的本地盘进行加速。使用本地盘加速时,需保证购买的计算节点带有“数据盘”。OBS桶中的数据不支持本地盘加速,使用OBS桶中数据用于本地盘加速,可能会导致作业运行失败。 图1 “OBS”标签代表数据引用来源为OBS桶 作业信息填写完成后,单击“确定”,进入流程设计器页面。分别单击输入参数图标,设置输入数据。
志中显示IO读写相关错误。 图8 运行出错的应用日志 排查思路 检查同一时刻投递作业的输出路径是否存在重复。若存在重复,则很有可能是并发写入同一个文件导致的异常,若不存在请联系服务技术支持解决。 解决方案 平台提供了作业级输出路径,流程级输出路径,子任务级输出路径用于做不同层级的
使用本地盘加速时,需保证购买的计算节点带有“数据盘”。OBS桶中的数据不支持本地盘加速,使用OBS桶中数据用于本地盘加速,可能会导致作业运行失败。 使用OBS桶中的数据投递作业时,当数据大于40G时作业会投递失败。 使用OBS桶中的数据投递作业时,作业将数据copy至云硬盘后,数
本地盘加速:使用计算节点的本地盘进行加速。使用本地盘加速时,需保证购买的计算节点带有“数据盘”。OBS桶中的数据不支持本地盘加速,使用OBS桶中数据用于本地盘加速,可能会导致作业运行失败。 图1 “OBS”标签代表数据引用来源为OBS桶 作业信息填写完成后,单击“确定”,进入流程设计器页面。分别单击输入参数图标,设置输入数据。
几种不同类型的归档,区别是什么 标准存储 标准存储访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景。 适合高性能,高可靠,高可用,频繁访问场景。 归档存储 归档存储适用于很少访问(平均一年访问一次)数据的业务场景,例如:数据归档、
设置内存大小。 存储路径 单击“存储路径”右侧文件夹图标,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。 用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作。 参数确认无误后,单击“立即创建”,完成Notebook的创建操作。
单击“存储路径”右侧文件夹图标,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。 包含本项目桶最多挂载6个,不包含本项目桶最多挂载5个。 用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作。 参数