云服务器内容精选

  • 设置项目存储容量 平台支持项目管理员以上角色,配置项目的最大存储量。 单击项目名称,在项目页面选择“设置”。 在项目详情页面,单击“已用存储量”后面的。 图6 设置存储容量 开启容量限制开关后,设置最大存储量。 图7 容量限制 设置成功后,单击“确定”。 项目存储量15分钟刷新一次,如果设置了项目最大存储量,项目数据达到最大存储量后,数据上传、复制、导入、执行的作业、notebook的使用会失败。
  • 镜像用途 用于创建分析应用 应用是生物信息学软件的镜像封装。例如,您可将Cell Ranger软件封装为镜像,并上传至 EIHealth 平台。通过应用把镜像引入,利用应用搭建分析流程,执行分析作业。 用于创建Notebook Notebook是一个交互式应用程序,用于代码的编写、调试、运行。创建Notebook时,您可以选择系统镜像。当系统镜像无法满足您的开发需求时,您可以基于EIHealth提供的基础镜像包制作 自定义镜像 ,并上传至平台。您可以在EIHealth平台“开发环境”中使用此自定义镜像创建Notebook。 创建Notebook时,如果使用自定义镜像。该自定义镜像,需要基于EIHealth平台提供的基础镜像进行制作。
  • 步骤1:搭建Docker环境 搭建Docker环境,您可以任选以下两种方式搭建Docker环境。 使用自己的电脑搭建Docker环境。 使用华为云弹性 云服务器ECS 搭建Docker环境。 本示例中使用华为云弹性服务器E CS ,并通过ECS搭建Docker环境。在创建ECS时,可以选择ECS的操作系统。例如,ECS如果为Linux操作系统,可以依次执行如下命令快速安装容器引擎。 curl -fsSL get.docker.com -o get-docker.shsh get-docker.sh 检查安装结果。 执行docker --version命令,如果显示如下类似信息,表示Docker安装成功。 图1 Docker安装成功
  • 步骤2:制作镜像 方法1:直接下载官方的FastQC镜像。 执行如下命令下载FastQC镜像。 docker pull biocontainers/fastqc:v0.11.5 方法2:通过Dockerfile制作FastQC镜像。 执行vi Dockerfile命令,进入Dockerfile文件中,编写文件。 FROM ubuntu:16.04# FastQC依赖java运行,需安装java环境。安装执行下载、解压缩的软件包RUN apt-get update && apt-get upgrade -y \ && apt-get install -y default-jre perl wget zip# 下载FastQC,解压缩,设置FastQC可执行权限RUN wget https://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip \ && unzip fastqc_v0.11.5.zip \ && rm fastqc_v0.11.5.zip \ && chmod +x /FastQC/fastqc# 将FastQC添加到环境变量中ENV PATH "/FastQC:$PATH" 按键盘Esc键,并执行:wq保存退出Dockerfile。 制作镜像。 docker build -t fastqc:v0.11.5 . 详细的Dockerfile指令请参见Dockerfile参考。
  • 步骤4:创建应用 登录EIHealth平台,在“项目管理”页面“工具”页签中,单击“新建应用”。 图2 新建应用 填写应用的基本信息。 “名称”填写fastqc,“版本”填写v0.11.5.2。“图标”、“标签”、“短描述”、“描述”可选填。 图3 填写基本信息 选择镜像。 单击“选择镜像”,在“自定义镜像”列表中选择fastqc镜像和镜像版本。 依据FastQC命令说明填写镜像启动命令。 镜像启动命令需要引用输入、输出参数中的变量,并以大括号扩起,以$符号进行引用。 fastqc软件输入参数填写为input-file、threads,输出参数为output-dir,则镜像启动命令如下所示。 使用-t命令,指定运行所需的线程数量。-o命令,指定存放输出结果的文件夹。输入文件夹已在填写参数时指定。 fastqc -t ${threads} -o ${output-dir} ${input-file} 选择“X86”CPU架构,CPU需求建议0.2起。GPU类型选择“无”。 按需填写内存大小,单位为GB。FastQC运行中所需内存大小依赖于输入数据大小,建议至少1GB。计算节点标签可将作业运行于指定的资源节点上,标签设置方法请参见计算资源标签管理。 图4 CPU、内存、GPU 填写参数。 通过阅读FastQC命令说明,了解命令。 图5 FastQC命令 填写所需的输入参数。 图6 输入参数 填写所需的输出参数。 因镜像启动命令中指定了输出参数,设置输出参数时,需勾选“必传”,并填写“默认值”。例如,输出结果默认存放在fastqc_output文件夹中。 图7 输出参数 单击“立即创建”,完成fastqc应用的创建。 创建完成后的应用,将显示在应用列表中,您可以使用该应用创建分析作业。
  • 导入流程 导入流程是将隶属于其他项目中流程导入至本项目中,流程所依托的应用和镜像会同步导入。 使用“导入流程”功能,用户需是其他项目中的成员,且为其他项目的“所有者”或“管理员”。 单击“导入流程”,进入导入流程页面。 图1 导入流程 选择需要引用的项目以及项目中的流程,选择流程的版本。“导入流程名称”是选填项,可以使用原有名称,或自定义。 图2 导入流程 单击“确定”,导入流程。 父主题: 工具管理
  • 流程设计器界面 流程设计器界面由工具栏、资源栏和画布三部分构成。 图1 流程设计器界面 表1 界面说明 区域 说明 工具栏 上方的工具栏显示设计器的快捷控制操作。 由设置、新建作业、保存、另存为、删除、自动保存构成。 资源栏 左侧的资源栏显示项目中可以使用的应用和流程。 画布 中间区域为搭建流程的操作界面。 可以将应用拖拽至画布中,并进行编排创建。 可以将流程放置到画布中进行编排修改。 可通过“概览”展示流程的结构图。 可通过界面右下角快速定位按钮使流程显示在画布中央。 可通过界面右下角规整排列按钮使流程连线排布整齐。
  • 清理历史命令 为防止配置文件中的敏感信息泄露,建议使用health config clear命令定时清除本地配置文件。 对于执行的历史命令,可通过以下方法清除。 Linux:执行history -c命令清除历史记录,重新登录命令行工具后,记录可恢复。执行rm -f $HOME/.bash_history命令,可删除记录文件,清空历史。 macOS系统:执行ps -p $$命令检查shell类型。 类型为bash:操作与Linux系统相同。 类型为zsh:执行history -p命令清除历史记录,重新登录命令行工具后,记录可恢复。执行rm -rf ~/.zsh_history命令,退出终端后再次执行history -p命令可删除记录文件,清空历史。 Windows系统:对于当前执行的命令,可通过关闭cmd窗口实现历史命令的清理。
  • 步骤1:下载eihealth-toolkit 针对不同操作系统,eihealth-toolkit下载地址如下所示。 表1 下载列表 支持平台 下载地址 Windows 64位 health-windows-x86_64.zip、health-windows-x86_64.zip.sha256 Linux ARM 64位 health-linux-aarch64.tar、health-linux-aarch64.tar.sha256 Linux AMD 64位 health-linux-x86_64.tar、health-linux-x86_64.tar.sha256 macOS health-macOS-x86_64.tar、health-macOS-x86_64.tar.sha256 本页面命令行工具下载后,在使用时,需用到您 注册华为账号 并开通华为云时提供的用户名等信息,用于登录并操作EIHealth平台的项目、数据等资产。这些信息的处理将遵循您已接收的《华为云用户协议》及《隐私政策声明》约束。
  • 步骤2:安装eihealth-toolkit 本示例中以Windows系统为例,介绍安装命令行工具的方法。 下载Windows版本的客户端,得到health.exe文件,health文件无需安装,放置在任一文件夹中即可。 图1 下载命令行工具 使用win键+R,输入cmd打开windows的cmd窗口。进入工具所在的目录,输入health命令,即可使用。 如果cmd窗口显示目录不是health文件所在目录,请使用cd命令切换路径。例如,切换至D盘: cd /d d: 图2 客户端 使用Linux版本命令行工具时,您需要在本地搭建Linux环境,并将下载的health文件放置所需的目录下,例如: 如果当前目录为health所在目录,可以使用./health命令执行命令行工具。 如果当前目录不是health所在目录,需要使用绝对路径。如当前目录为/opt,假设health存放在/root/health-toolkit/下,需要指定/root/health-toolkit/health路径进行使用。 如果无法运行,使用chmod 755 health命令设置执行权限。
  • 步骤3:初始化配置 在使用命令行工具前,需要初始化配置信息,通过config命令对eihealth-toolkit进行初始化配置。本节以Windows为例介绍配置过程,Linux和macOS环境配置过程相同。 命令结构 执行health config add命令配置AK、SK、region、platform-id信息,获取方法请参见获取认证信息。 health config add [flags] 表2 参数说明 参数 简写 是否必选 说明 --domain-name -d 是 与管理员(购买平台的账户)的账号名一致。 --user-name -u 是 子用户的用户名。 管理员(购买平台的账户)登录时,user-name和domain-name一致。 --password -w 是 密码。 --ak -a 是 AK(Access Key ID):访问密钥ID。 --sk -s 是 SK(Secret Access Key):与访问密钥ID结合使用的密钥。 --region -r 是 服务区 域名 称。 --platform-id -i 是 平台ID,获取方法请参见获取认证信息。 --iam-endpoint -m 否 IAM 终端节点名称,请在地区与终端节点中获取。 --health-endpoint -e 否 EIHealth终端节点名称,请在地区与终端节点中获取。 --swr-endpoint -t 否 SWR镜像仓库地址。 获取方式: 登录 容器镜像服务 管理控制台。 单击界面右侧“登录指令”,获取内网登录指令末尾的SWR镜像仓库地址。例如100.78.15.50:20202。 --log-path -l 否 日志路径,不填写时默认为命令行工具当前路径下healthcli.log文件。 路径设置格式: Windows系统为“路径\文件名”。 Linux系统格式为“路径/文件名”。 --http-proxy -p 否 HTTP代理配置,格式为“http://username:password@your-proxy:your-port”。 --obs-endpoint -o 否 OBS终端节点名称,请在地区与终端节点中获取。 --obs-install-path -q 否 设置obsutil安装路径,默认安装在当前运行目录。 设置时,该路径必须为obsutil运行文件名,如/home/path/obsutil、/home/path/obsutil-1.1.1 --obs_down_load_url -D 否 obsutil下载链接,obsutil将下载到obs-install-path上。 参数有改动时才会触发下载。 下载链接的内容可以是zip、tar.gz文件、二进制文件,如果是压缩文件,文件夹内的obsutil必须命名为obsutil(和obsutil官方链接保持一致)。 --force -f 否 强制操作。如果下载obsutil时,指定的obs-install-path上已经有同名文件,不带-f时会提示用户,带上-f会直接覆盖原文件。 命令示例 health config add -d xxx -u xxx -w xxx -i xxx -r cn-north-4 -o obs.cn-north-4.myhuaweicloud.com -a xxx -s xxx -D https://obs-wwx-2022.obs.cn-north-4.myhuaweicloud.com/obsuti-windows/obsutil.exe -q obsutil-linux/obsutil.exe –f -m xxx -e xxx -t xxx# 执行成功返回结果如下add ak successfully! add sk successfully! add region successfully!add platform-id successfully!add user-name successfully! add password successfully!add domain-name successfully! add obs-endpoint successfully! add obs_install_path successfully! add obs_down_load_url successfully!add iam-endpoint successfully!add health-endpoint successfully!add swr-endpoint successfully! 图3 命令示例 执行以上命令行,会在系统所在的用户目录下自动生成一个.health文件夹,文件夹中包含config.ini配置文件,用于存储任务执行所涉及到的配置,如密钥、区域、当前项目等信息。 生成的配置文件不建议直接修改,如需改动请使用命令行工具修改。 配置文件中保存有用户的AK、SK信息,为了避免密钥泄露,会对文件中的SK进行加密以保护密钥安全。 清空配置请执行health config clear命令。
  • 上传数据方式 在开始执行分析作业前,请先上传待分析的原始数据。不同的上传方法对数据大小要求不同,您可以参考表 上传数据方式选择相应的数据上传方式。 表1 上传数据方式 上传数据方式 说明 “数据”页面上传 通过“数据”页面上传数据,支持上传最大为1GB的单个文件。 数据上传方法请参见“数据”页面上传。 使用命令行工具上传 命令行工具(eihealth-toolkit)配套EIHealth平台,提供数据、应用、流程和作业资源的管理和使用,支持上传最大为48.8TB的单个文件。 数据上传方法请参见命令行工具概述。
  • 新建应用 详细的创建应用过程、镜像填写方法、参数填写方法,请参考创建应用样例章节。 单击“新建应用”,进入新建应用页面。 图1 新建应用 填写应用的基本信息,包括“名称”、“版本”、“图标”、“标签”、“短描述”和“描述”。 图2 基本信息 选择镜像和镜像版本。 详细的镜像介绍和制作方法请参见镜像管理。 填写镜像启动命令。 镜像启动命令需要引用输入、输出参数中的变量,并以大括号扩起,以$符号进行引用。 镜像启动命令支持多行输入,每行最多256字符,最多支持300行。 例如,bamqc软件输入参数填写为genomedir、thread和input,输出参数为outputdir,则镜像启动命令如下所示。 bamqc -t ${thread} -g ${genomedir} --noextract -o ${outputdir} ${input} 图3 镜像信息 选择CPU、GPU类型和大小,选择内存大小,内存单位为GB。 CPU架构依赖于制作镜像过程中选择的系统类型,以及制作镜像时所需的生物信息学软件支持在X86还是ARM上运行。例如,GATK是基于X86指令集开发的生信软件,使用CentOS的X86系统创建GATK镜像,则在创建应用时选择“X86”。 CPU需求:请按实际需求填写,取值范围为“0.1-128”,单位C,支持一位小数,不填默认1C。 Memory需求:请按实际需求填写,取值范围为“0.1-3072”,单位GB,支持一位小数,不填默认1GB。 GPU类型:请按实际需求填写,取值范围为“无、GPU、D310、Snt9”,如果选择Snt9,GPU需求需要是0、1、2、4、8。 GPU需求:请按实际需求填写,只能输入0到16的正整数。 计算节点标签:请选择标签名称,不支持多选。应用将会调度到有相应节点标签的计算节点。计算节点标签设置方法请参见计算资源标签管理。 填写输入参数、输出参数。 参数填写时,输入参数及输出参数有字符串(String),文件(File),文件夹(Directory),枚举(Enum)四种类型。 图4 参数信息 对于输入参数,打开“并发”开关,在启动作业时,每个参数可以设置多个参数值,自动生成多个作业并发执行。并发执行的作业数为设置的参数值个数的乘积。 例如,存在输入参数a和输入参数b,在启动作业时,分别给参数a设置了2个参数值,给参数b设置了2个参数值。那么,系统将自动生成4个作业并发执行。 对于输出参数,如果镜像启动命令中指定了输出参数,则在设置输出参数时,需要勾选“必传”,并填写“默认值”。 如果输出参数为Directory、File类型,默认值必须以/开头,且不能以/结尾,开头的'/'代表本项目的桶路径。 如果输出参数为String,默认值最大长度不超过256,仅支持字母、数字、中划线、下划线、小数点和斜线。 如果输出参数为Enum类型,需填写有效值,并在有效值中选择默认值。 单击“立即创建”,创建应用。 父主题: 工具管理
  • 分析作业管理简介 分析作业依托于流程运行,需要您先创建流程,再基于流程创建分析作业。 在“项目管理”页面“作业”页签中,以列表形式展示了项目中运行的分析作业和运行状态。您可以查看分析作业名称、标签、所使用的流程名称、版本、运行状态、创建者、创建时间、完成时间和总耗时。并可对作业执行重试、取消、删除、克隆、导出操作。对于列表中的作业,支持通过作业名称、流程名称、标签、创建者、状态、创建时间和完成时间进行快速搜索。 如果需要批量创建分析作业,您可以创建自动作业。 当作业执行超时,作业状态显示失败,task状态为运行中。后续task运行成功或失败,作业状态都显示失败。可参考作业投递后处于运行中,运行过程正常,但是最后超时失败进行处理。 如果性能加速节点不可用或作业配额不足,重试作业时,超过配额的作业会重试失败。 图1 分析作业 图2 作业搜索 父主题: 作业管理
  • 禁止/允许删除数据 您可以对某个数据设置禁止删除。设置禁止删除后,该目录只能添加数据,不支持删除数据。也可以通过“允许删除”取消禁止删除设置。 图7 开启禁止删除数据 支持设置最多15个数据的禁止删除状态。 如果平台或者父目录设置禁止删除状态,则对应的数据根路径或者子路径均为禁止删除状态,子路径不支持同时设置允许删除状态;如果平台或者父目录设置允许删除,则之前子路径设置的禁止删除权限失效,全部子路径允许删除。