检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 src 无 是 被同步的目录或文件。 destdir 无 是 目的目录或者文件。 --type -H 是 增量同步类型:copy/download/upload。 --crr -c 否 复制时使用客户端跨区域复制模式,从通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
径下的内容操作,即Notebook中的数据和OBS中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebook中,Notebook中的操作也会同步到OBS中,如图2所示。 图2 通过OBS同步数据 “Upload”上传数据大小受限时,您可以通过以下多种方式将文件
下载数据 在EIHealth平台下载数据 下载数据操作会产生流量费用,计费方式为按需计费,计费详情请参考OBS数据下载费用。 以下操作步骤是在“数据”页面下载数据至本地。您也可以使用命令行工具实现数据的下载。 在EIHealth平台“项目 > 数据”页面,展开数据文件夹,选择待下载的数据。
数据管理简介 EIHealth平台使用对象存储服务(OBS)存储原始数据、流程执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“导入数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 操作步骤
数据库简介 EIHealth平台提供了数据库的创建、查询和管理能力。您可以将表型、基因型或其他数据导入EIHealth平台并生成数据库。同时,除了自定义数据库外,支持将作业运行中产生的数据文件创建为数据库。 创建数据库时,数据库模板为您提供了一个数据表的搭建框架,可通过数据库模板
上传数据 NGS流程中需使用二代测序得到的原始fastq文件、参考基因组序列、参考Variants数据集。 本示例中以Windows系统命令行工具为例,介绍如何将本地数据上传到EIHealth平台。更多的命令介绍请参见命令行工具。 使用命令行工具,用switch命令进入待操作的项目。
上传数据 使用upload命令,将本地数据上传到EIHealth平台。该命令不支持将数据上传到引用目录。 最小可以上传0Byte的空文件或文件夹,最大可以上传48.8TB的单个文件。 数据在上传的过程中,受网络影响可能出现损坏,上传命令默认会在上传完成后,验证项目中数据的MD5值
数据管理简介 盘古辅助制药平台使用对象存储服务(OBS)存储原始数据、作业执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“复制数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
即Notebook中的数据和被挂载的OBS路径中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebook中,Notebook中的操作也会同步到OBS中,如图 通过OBS同步数据所示。 图2 通过OBS同步数据 “Upload”上传数据大小受限时,您可以通过以
归档数据 平台支持数据的归档机制,您可以将核心数据进行归档,避免误删造成损失。 在“数据”页面单击“归档”,进入归档数据页面。 图1 选择归档 填写归档的参数信息。 表1 参数说明 参数 说明 名称 设置归档数据的名称。归档名称长度为1-100。 描述 归档数据描述信息。 归档类型
数据管理 如何获取AK/SK 几种不同类型的归档,区别是什么
归档数据 功能介绍 将需要归档的重要数据拷贝到数据归档桶 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/eihealth
最小值:0 最大值:1000 响应参数 状态码: 202 表4 响应Body参数 参数 参数类型 描述 id String 数据作业ID 请求示例 导入数据,数据来源为test-project-01项目中的db_test1.txt文件,分隔符为string,跳过的行数为0 https://eihealth
查询数据 功能介绍 查询数据 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/eihealth-projects/{eihe
关系。 图5 解除引用 下载数据 下载数据操作会产生流量费用,计费方式为按需计费,计费详情请参考OBS数据下载费用。 以下操作步骤是在“数据”页面下载数据至本地。您也可以使用命令行工具实现数据的下载。 展开数据文件夹,选择待下载的数据。 单击“操作”列“下载”。 单击鼠标右键,选择“链接另存为”,下载数据。
无 是 数据库实例id,其中引用数据库实例时可以引用多个数据库实例,用分号(;)分隔;导入数据到数据库时不支持多个实例id。 --project -p 否 源项目名称,使用此参数时代表引用数据库实例。 --skip-lines -s 否 跳过的header行数,导入数据到数据库时此参数必填。
数据作业id,不填写时未获取数据作业列表,填写时为获取数据作业详情。 --name -n 否 数据作业名称,根据名称搜索作业,获取数据作业列表时生效。 --type -t 否 数据作业类型,根据类型搜索作业,获取数据作业列表时生效。支持获取以下类型数据: CLONE_DATA DELETE_DATA
图3 引用数据 单击“确定”,引用其他项目中的数据至本项目。 引用的数据和项目将显示在左侧的数据列表中。 图4 引用的数据 引用OBS类型数据时,如果数据在OBS中的存储类型为“归档存储”,则将该数据引用过来后,该数据不能用于创建作业,并不可下载。 平台系统管理员在自己的所有者
下载数据 使用download命令将EIHealth平台的数据下载到本地,此命令不支持下载引用项目中的数据。 数据在下载的过程中,受网络影响可能出现损坏,下载命令默认会在下载完成后,验证项目中数据的MD5值与本地数据的MD5值的一致性,以及验证项目中数据的大小与本地数据大小一致性。