检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
径下的内容操作,即Notebook中的数据和OBS中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebook中,Notebook中的操作也会同步到OBS中,如图2所示。 图2 通过OBS同步数据 “Upload”上传数据大小受限时,您可以通过以下多种方式将文件
增量同步 使用sync命令让本地源路径下的所有内容和OBS指定目标对象进行数据同步,使两边内容保持一致。 增量:依次比较源文件和目标对象,只上传存在变化的源文件。 同步:命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 操作步骤
数据管理简介 EIHealth平台使用对象存储服务(OBS)存储原始数据、流程执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“导入数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
数据管理简介 盘古辅助制药平台使用对象存储服务(OBS)存储原始数据、作业执行中间数据和执行结果数据。数据按项目维度进行隔离和划分,从项目角度进行数据的管理,不同项目的数据可以通过“复制数据”实现跨项目使用。您可以在“项目管理”页面,“数据”页签中,完成数据的添加、导入、归档、复制、删除等操作。
上传数据 NGS流程中需使用二代测序得到的原始fastq文件、参考基因组序列、参考Variants数据集。 本示例中以Windows系统命令行工具为例,介绍如何将本地数据上传到EIHealth平台。更多的命令介绍请参见命令行工具。 使用命令行工具,用switch命令进入待操作的项目。
即Notebook中的数据和被挂载的OBS路径中的数据是同步的。在OBS路径中创建文件夹、上传数据,会同步到Notebook中,Notebook中的操作也会同步到OBS中,如图 通过OBS同步数据所示。 图2 通过OBS同步数据 “Upload”上传数据大小受限时,您可以通过以
下载数据 在EIHealth平台下载数据 下载数据操作会产生流量费用,计费方式为按需计费,计费详情请参考OBS数据下载费用。 以下操作步骤是在“数据”页面下载数据至本地。您也可以使用命令行工具实现数据的下载。 在EIHealth平台“项目 > 数据”页面,展开数据文件夹,选择待下载的数据。
数据管理 如何获取AK/SK 几种不同类型的归档,区别是什么
上传数据 使用upload命令,将本地数据上传到EIHealth平台。该命令不支持将数据上传到引用目录。 最小可以上传0Byte的空文件或文件夹,最大可以上传48.8TB的单个文件。 数据在上传的过程中,受网络影响可能出现损坏,上传命令默认会在上传完成后,验证项目中数据的MD5值
数据导入 使用import命令引用数据到当前所在项目或者导入网上数据。 命令结构 health import data <src-dir> <dest-dir> [flags] 表1 参数说明 参数 简写 是否必选 说明 src-dir 无 是 源路径,支持四种格式,分别是医疗项
数据库简介 EIHealth平台提供了数据库的创建、查询和管理能力。您可以将表型、基因型或其他数据导入EIHealth平台并生成数据库。同时,除了自定义数据库外,支持将作业运行中产生的数据文件创建为数据库。 创建数据库时,数据库模板为您提供了一个数据表的搭建框架,可通过数据库模板
更新数据 功能介绍 更新数据 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/eihealth-projects/{eihe
下载数据 使用download命令将EIHealth平台的数据下载到本地,此命令不支持下载引用项目中的数据。 数据在下载的过程中,受网络影响可能出现损坏,下载命令默认会在下载完成后,验证项目中数据的MD5值与本地数据的MD5值的一致性,以及验证项目中数据的大小与本地数据大小一致性。
系统跳转到“我的发布”页面,可以查看发布的数据状态。当数据发布成功后,可以在“资产市场>组织共享”中查看发布的数据。 已发布的数据不能直接编辑和删除,需下线后才能编辑和删除。 发布中的数据可以取消,取消后状态为发布失败。 已发布的数据可以订阅和下线。 同一个发布者可以发布同名称,同类型的数据,若版本不同,则
数据管理命令 列举对象 显示当前目录 切换路径 文件拷贝 创建子目录 上传数据 清理本地记录的上传文件 下载数据 删除数据 数据导入 创建归档 获取归档数据 删除归档 恢复归档 获取数据归档列表 修改归档区域 获取数据作业 删除数据作业 重试数据作业 取消数据作业 移动对象 增量同步
归档数据 平台支持数据的归档机制,您可以将核心数据进行归档,避免误删造成损失。 在“数据”页面单击“归档”,进入归档数据页面。 图1 选择归档 填写归档的参数信息。 表1 参数说明 参数 说明 名称 设置归档数据的名称。归档名称长度为1-100。 描述 归档数据描述信息。 归档类型
归档数据 功能介绍 将需要归档的重要数据拷贝到数据归档桶 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/eihealth
最小值:0 最大值:1000 响应参数 状态码: 202 表4 响应Body参数 参数 参数类型 描述 id String 数据作业ID 请求示例 导入数据,数据来源为test-project-01项目中的db_test1.txt文件,分隔符为string,跳过的行数为0 https://eihealth
数据控制与数据审计 数据保护策略 项目内的数据支持精细化的权限控制,可对数据分享、下载、删除进行设置。您可以在项目的“设置”页面设置数据权限。数据权限仅可以有项目所有者设置。 分享:关闭分享后,项目内数据不允许分享给其他项目,包括拷贝、引用两种方式。 下载:关闭下载后,项目内数据不允许下载至本地。