检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
直接挂载OBS目录进行大规模计算,如何解决偶现报错 问题现象 运行作业时,作业直接挂载OBS目录进行大规模计算。偶现“异常应用”,并日志报错input/output error或file xxx not exists。 问题原因 OBS集群到计算集群之间的带宽达到了上限。 OBS集群的IOPS达到了上限。
图2 通过OBS同步数据 “Upload”上传数据大小受限时,您可以通过以下多种方式将文件上传到OBS中,通过OBS与Notebook进行数据同步。 表1 上传数据方法 上传方法 说明 “数据”页面上传 通过“数据”页面上传数据,支持上传最大为1GB的单个文件。 使用命令行工具上传
源路径,支持四种格式,分别是医疗项目、外部桶、外部并行文件系统或者网络数据下载链接,对应格式分别为ProjectName:/path、OBS:BucketName:/path、OBSFS:ObsfsName:/path、下载url。 须知: 源路径中如果要填写多个路径,路径之间用空格分隔。如果路径中有特殊字符或者
AK/SK是什么?如何获取AK/SK? AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。
数据归档 删除归档 获取指定归档的全数据清单 恢复归档 查询归档列表 归档数据 父主题: 数据管理
数据管理 创建文件夹 查询数据列表 获取桶存量信息 复制项目数据 导入项目数据 导入网上数据 引用项目数据 订阅资产市场数据 上传数据文件 批量删除项目数据 获取桶列表 查询项目级数据权限控制策略 设置项目级权限控制策略 获取数据详情 设置数据对象策略 发布数据资产 父主题: 数据管理
数据管理 AK/SK是什么?如何获取AK/SK? 几种不同类型的归档,区别是什么?
上传数据 NGS流程中需使用二代测序得到的原始fastq文件、参考基因组序列、参考Variants数据集。 本示例中以Windows系统命令行工具为例,介绍如何将本地数据上传到EIHealth平台。更多的命令介绍请参见命令行工具。 使用命令行工具,用switch命令进入待操作的项目。
设置数据对象策略 功能介绍 设置数据对象策略 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/eihealth-projec
是基于所选择的OBS路径下的内容操作,即Notebook中的数据和被挂载的OBS路径中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebook中,Notebook中的操作也会同步到OBS中,如图 通过OBS同步数据所示。 图2 通过OBS同步数据 “Uploa
下载数据 使用download命令将EIHealth平台的数据下载到本地,此命令不支持下载引用项目中的数据。 数据在下载的过程中,受网络影响可能出现损坏,下载命令默认会在下载完成后,验证项目中数据的MD5值与本地数据的MD5值的一致性,以及验证项目中数据的大小与本地数据大小一致性。
数据管理命令 列举对象 显示当前目录 切换路径 文件拷贝 创建子目录 上传数据 清理本地记录的上传文件 下载数据 删除数据 数据导入 创建归档 获取归档数据 删除归档 恢复归档 获取数据归档列表 修改归档区域 获取数据作业 删除数据作业 重试数据作业 取消数据作业 移动对象 增量同步
的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。该匹配模式仅适用于对象名非“/”结尾的对象。 支持指定多个include参数,如--include
数据管理 数据管理简介 添加数据 发布数据 数据管理常用操作 归档数据 数据控制与数据审计 命令行工具概述 父主题: 用户指南(基因平台)
数据管理 数据管理简介 添加数据 数据管理常用操作 父主题: 用户指南(盘古辅助制药)
数据管理 数据归档 数据管理 数据作业管理 OBS桶管理 父主题: API(医疗智能体平台)
归档数据 功能介绍 将需要归档的重要数据拷贝到数据归档桶 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/eihealth
获取数据详情 功能介绍 获取指定数据对象的详细信息 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/eihealth-pro
下载数据 在EIHealth平台下载数据 下载数据操作会产生流量费用,计费方式为按需计费,计费详情请参考OBS数据下载费用。 以下操作步骤是在“数据”页面下载数据至本地。您也可以使用命令行工具实现数据的下载。 在EIHealth平台“项目 > 数据”页面,展开数据文件夹,选择待下载的数据。
project_id 是 String 华为云项目ID,您可以从获取项目ID中获取。 最小长度:1 最大长度:128 database_id 是 String 数据库实例id 最小长度:1 最大长度:128 row_num 是 Long 数据行号,即_row_num值 最小值:0 最大值:2147483647