华为云用户手册

  • Tox21通路(Tox21 Pathway) NR-AR: Androgen receptor,雄激素受体。在AR依赖性前列腺癌和其他相关雄激素相关疾病中其关键作用,内分泌干扰物与AR的相互作用,会破坏正常的内分泌功能,因此需要了解化学物质对ER信号通路的影响。0为AR无活性,1为AR有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-AR-LBD: 雄激素受体配体结合区。0为AR-LBD无活性,1为AR-LBD有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-AhR: The Aryl hydrocarbon Receptor,芳香烃受体。AhR是一种配体激活性转录因子。当与多环芳烃、卤代芳烃等配体结合后,可调控一系列基因的表达。0为AhR无活性,1为AhR有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-Aromatase: Aromatase,芳香化酶,是雌激素生物合成的关键酶。0为Aromatase无活性,1为Aromatase有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-ER: Estrogen receptor,雌激素受体。在发育和新城代谢中起重要作用,内分泌干扰物与ER的相互作用,会破坏正常的内分泌功能,因此需要了解化学物质对ER信号通路的影响,0为Estrogen receptor无活性,1为Estrogen receptor有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-ER-LBD: 雌激素受体配体结合区。0为ER-LBD无活性,1为ER-LBD有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 NR-PPAR-gamma: peroxisome proliferator-activated receptors PPAR,过氧化物酶体增殖物激活受体。PPAR是一类由配体激活的核转录因子,PPAR超家族有3个亚型:即PPAR-α、 PPAR-δ(又称PPAR-β或NUC-1)和PPAR-γ,分别由不同的基因编码,PPAR-γ受体(格列酮受体)。参与调节糖脂代谢。0为PPAR-gamma无活性,1为PPAR-gamma有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 SR-ARE: antioxidant response element ARE,抗氧化反应元件。ARE与Nrf2结合,启动下游大量的抗氧化酶基因的转录。0为ARE无活性,1为ARE有活性。数值在0~1之间。 结果解释:预测值的范围在0~1之间。 SR-ATAD5: ATPase family AAA domain-containing protein 5,三磷酸腺苷酶家族蛋白5。ATAD5会随着各种类型的DNA损伤而在蛋白质水平上增长。0为ATAD5无活性,1为ATAD5有活性,数值在0~1之间。 结果解释:预测值的范围在0~1之间。 SR-HSE: Heat shock factor,热激蛋白。HSE是一类功能性相关蛋白质,当细胞受到升高温度或其他胁迫时它们的表达就会增长。0为HSE无活性,1为HSE有活性,数值在0~1之间。 结果解释:预测值的范围在0~1之间。 SR-MMP: Mitochondrial membrane potential,线粒体膜电位。线粒体是动植物细胞生成ATP的主要地点,是促进细胞能量转换、参与细胞凋亡的重要细胞器。 线粒体在产生能量时会将电化学势能储存于线粒体内膜,在内膜两侧,若质子及其他离子浓度的不对称分布就会形成线粒体膜电位,即MMP,测量活细胞中的MMP通常用于评估化学物质对线粒体功能的影响。0为MMP无活性,1为MMP有活性,数值在0~1之间。 结果解释:预测值的范围在0~1之间。 SR-p53: p53,一种肿瘤抑制因子,控制细胞周期的启动。在所有恶性肿瘤中,50%以上会出现该基因的突变。0为p53无活性,1为p53有活性,数值在0~1之间。 结果解释:预测值的范围在0~1之间。
  • 毒效团(Toxicophore Rules) Acute Toxicity Rule: 有20个子结构,含有该子结构可能在口服给药期间引起急性毒性。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 Genotoxic Carcinogenicity Rule: 117个子结构,含有该子结构可能通过遗传毒性引起致癌性或者致突变性。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 NonGenotoxic Carcinogenicity Rule: 23个子结构,含有该子结构可能通过非遗传毒性引起致癌性或者致突变性。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 Skin Sensitization Rule: 155个子结构,含有该子结构可能会导致皮肤损伤。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 Aquatic Toxicity Rule: 99个子结构,含有该子结构可能会对液体(包括水)造成毒性。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 NonBiodegradable Rule: 19个子结构,含有该子结构可能会不可生物降解。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 SureChEMBL Rule: 164个子结构,含有该子结构可能会具有不好的药物化学结构。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。 FAF-Drugs4 Rule: 154个子结构,含有该子结构可能会有毒性。 结果解释:数值代表有多少个子结构匹配此数据库,可以通过DETAIL查看所匹配的子结构特征。
  • 分布(Distribution) PPB: Plasma protein binding,血浆蛋白结合度。结合度的多少会影响药物的渗透情况。 结果解释:结合度小于90%比较合适。 VD: Volume Distribution,体积分布,单位为L/kg。 结果解释:VD值在0.04~20L/kg之间较好。 BBB Penetration: blood–brain barrier Penetration,血脑屏障。作用于中枢神经系统的药物需要穿过血脑屏障 (BBB) 才能达到其分子靶点。相反,对于具有外围靶点的药物,不需要BBB渗透以避免中枢神经系统副作用,单位为cm/s。logBB 大于-1为(BBB+), logBB小于等于-1为(BBB-),数值在0~1之间。 结果解释:预测值的范围在0~1之间。 Fu: The fraction unbound in plasms,未结合血清蛋白的比例。药物与血清蛋白的结合程度越高,渗透性越差。 结果解释:未结合比例大于等于5%效果较好。
  • 聚类分析 目前分子优化返回的结果小分子数较多,无法进行批量分析,通过一些聚类的辅助方式能更好的选择分子。从每个类里挑选出一两个分子进行后续分析和验证,提高分析的效率和分析质量。也可以通过聚类找出一些关键的骨架,来进行下游分析或者优化等。 在输出结果页面左上角单击“聚类分析”后,系统开始进行分析,同时显示“聚类分析中”。 图16 聚类分析 待聚类分析完成后,单击“查看聚类结果”。进入聚类结果页。 在聚类结果页面,可以查看每个聚类的分子数量等信息。 图17 查看聚类结果 单击某个聚类的操作列的“查看详情”,即可进入聚类详情页面,聚类详情页支持以卡片、列表以及3D的形式查看。默认展示卡片页面,用户可自行进行切换。 每个结果页面只用进行一次聚类分析操作。 聚类结果是存成文件,如果文件被删或者获取不到的话会有警告, 聚类结果不存在。此时可以单击“重新聚类分析”。 如果聚类失败,根据提示失败原因解决问题后,可单击“重新聚类分析”。
  • 聚类分析 目前分子对接返回的结果小分子数较多,无法进行批量分析,通过一些聚类的 辅助方式能更好的选择分子。从每个类里挑选出一两个分子进行后续分析和验证,提高分析的效率和分析质量。也可以通过聚类找出一些关键的骨架,来进行下游的分子优化、分子属性预测、合成路径规划等。 在输出结果页面左上角单击“聚类分析”后,系统开始进行分析,同时显示“聚类分析中”。 待聚类分析完成后,单击“查看聚类结果”。进入聚类结果页。 在聚类结果页面,可以查看每个聚类的分子数量等信息。 图15 查看聚类结果 单击某个聚类的操作列的“查看详情”,即可进入聚类详情页面,聚类详情页支持以卡片、列表以及3D的形式查看。默认展示卡片页面,用户可自行进行切换。 图16 查看聚类详情 每个结果页面只用进行一次聚类分析操作。 聚类结果是存成文件,如果文件被删或者获取不到的话会有警告, 聚类结果不存在。此时可以单击“重新聚类分析”。 如果聚类失败,根据提示失败原因解决问题后,可单击“重新聚类分析”。
  • 创建项目 您可以创建一个新的项目。 在平台左上角单击项目名称,选择“创建新项目”。 图1 创建新项目 配置项目信息。 表1 参数说明 参数 说明 项目名称 项目名称。取值范围3~45个字符,包含数字、小写字母、下划线、中划线,且只能以小写字母数字开头结尾。 项目创建成功后,不支持修改名称。 描述 设置项目描述。 图2 创建项目 单击“确认”,创建一个新的项目。 项目的创建者默认拥有项目的完整权限,同时项目可以分享给其他用户,并限定其他用户的访问权限。项目角色为项目粒度权限控制,同一用户在不同的项目上可能拥有不同的角色。 创建的项目配额请参见配额管理进行查询。详细添加项目成员并分配角色的方法请参见添加项目成员。 父主题: 项目管理
  • 查看项目信息 项目信息中提供了项目设置,成员管理,数据审计,您可以通过如下方式查看。 在平台左上角选择项目名称,单击,进入项目设置页面。 图2 查看项目信息 项目设置 在项目设置页面,可以查看项目名称,该项目的数据存储OBS桶名称。所有者可以修改项目描述,转移项目,删除项目。管理员可以修改项目描述,退出项目。操作员可以退出项目。 删除项目后数据、作业会同步删除,删除项目不可逆,请谨慎操作。 成员管理 在成员管理页面可以添加或者移除访问该项目的成员。 图3 成员管理 数据审计 平台通过 云审计 服务( CTS )提供操作记录的收集、存储和查询,审计操作可以设置导出用户的读操作和写操作(默认)和仅写操作(可选),保存周期可以设置需要保存的审计日志的保存周期,下载按钮可以下载最近7天内最新的1万条数据审计日志,查看按钮可以查看及下载保存的审计日志。 通过审计日志可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。您可以在项目的“数据审计”页面下载最近7天的数据审计日志,其他操作的审计日志请登录云审计服务控制台查看。 图4 数据审计
  • 导入用户 盘古辅助制药平台支持把 IAM 子用户导入至平台子用户。通过导入已有子用户,增加用户使用的便捷度,方便用户维护账号。 使用管理员账户登录盘古辅助制药平台。 在右上角用户名中选择“用户管理”。 在用户管理页面,单击“导入用户”,进入“导入用户”页面。 在导入用户页面,可以选择“用户”或者“用户组”进行导入。 图1 导入用户 导入的IAM子用户需要具有管理控制台访问方式。 导入用户时不能超出配额。如果超出配额,进行配额调整后,5分钟后生效。 以用户组的方式导入时,若超出配额的部分会导入失败。 以用户组的方式导入时,用户组里已经导入到平台的用户,不算统计个数。例如,用户组A里50个用户,10个已经导入平台, 那么统计时,只会显示已选择40个用户。 IAM平台限制一个IAM用户不能加入超过10个用户组,而导入时还会再加入医疗用户组。如果IAM用户在导入平台之前就已经加入了10个用户组,则导入的时候会失败。 用户数统计时会去重。例如,用户组A有50个用户, 用户组B里有50个用,两者之间有10个用户重复,那么同时选择用户组A和B,统计时显示已选择90个用户。 如果导入后用户状态显示异常,需联系技术支持处理。 单击“下一步”,设置角色。设置是否为“系统管理员”。 配置完成后,单击“确定”。 等待导入成功后,单击“关闭”。可以在用户管理页面查看导入成功的用户信息。 导入的用户,不支持删除,只支持移除,移除后不影响该用户操作其他服务。 图2 查看导入用户 医疗平台用户会在IAM中赋予以下细粒度权限,若该用户加入的其他IAM用户组有对应的deny权限,则会影响平台部分功能使用。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:GetObjectVersionAcl", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:object:AbortMultipartUpload", "obs:object:DeleteObjectVersion", "obs:object:GetObjectAcl", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket", "obs:object:PutObject" ] } ] } 父主题: 用户管理
  • 前提条件 注册华为账号 并开通华为云,并进行账号实名认证。购买服务时,账号不能处于欠费或冻结状态。 购买服务时,需使用华为主账号购买。如果不确定账号类型,可登录账号中心查看所属账号是主账号还是子账号(IAM账号)。 在账号中心左侧导航栏中有“我的主账号”页签,则说明是子账号;没有“我的主账号”页签,则说明是主账号。 图1 查看账号信息 联系技术支持开通白名单。 需要提供账号名,账号ID,项目ID等信息。相关信息获取方式如下: 使用华为云账号登录后,在右上角账号下选择“我的凭证”。 在API凭证中可以查看相关信息。
  • SPONGE 分子模拟是指利用计算机以原子水平的分子模型来模拟分子结构与行为,进而模拟分子体系的各种物理、化学性质的方法。它是在实验基础上,通过基本原理,构筑起一套模型和算法,从而计算出合理的分子结构与分子行为。SPONGE(Simulation Package tOward Next GEneration)是由北京大学高毅勤教授课题组与华为团队联合开发的新一代分子动力学模拟程序,具有高性能、模块化等特性,是一个完全自主研发的分子模拟软件库。基于高毅勤教授课题组和华为团队的技术支持,已经实现自由能微扰加速10倍以上。测试
  • 欢迎使用盘古辅助制药平台 盘古辅助制药平台是以盘古药物大模型为基础打造的一站式药研平台,助力药物研发效率提升60%+。平台提供靶点发现,苗头化合物发现,先导化合物优化全流程药研所需功能。同时基于云原生的软硬件一体化加速,大大提升虚拟筛选和分子动力学模拟计算效率。 全平台无需软硬件安装调试成本,开箱即用,随时可用。全平台包括盘古辅助制药赋能药物研发的全链条任务,将新药研发从“马拉松”迈向“加速跑”。 父主题: 用户指南(盘古辅助制药)
  • 启动作业后作业一直处于已提交的状态 问题现象 作业投递后一直处于已提交的状态。 问题排查和解决方案 查看execution log, 若execution log为空,请提交工单或联系服务技术支持。 execution log 提示K8S pod can‘t be scheduled,请根据日志信息扩容计算资源。 execution log提示can't lock file,重试或者克隆作业即可。 execution log提示java.text.ParseException: Unparseable date,请提交工单或联系服务技术支持。 execution log提示其它因脚本语法的问题,请根据报错信息进行修改,若无法解决请提交工单或联系服务技术支持。
  • 导入用户 EIHealth 平台支持把华为云的IAM子用户导入至平台子用户。通过导入已有子用户,增加用户使用的便捷度,方便用户维护账号。 IAM用户导入只支持使用Domain用户导入。 使用管理员账户登录 医疗智能体 平台。 在右上角用户名中选择“用户管理”。 图1 用户管理 在用户管理页面,单击“导入用户”,进入“导入用户”页面。 在导入用户页面,可以选择“用户”或者“用户组”进行导入。 图2 导入用户 导入的IAM子用户需要具有管理控制台访问方式。 导入用户时不能超出配额。如果超出配额,进行配额调整后,5分钟后生效。 以用户组的方式导入时,若超出配额的部分会导入失败。 以用户组的方式导入时,用户组里已经导入到平台的用户,不算统计个数。例如,用户组A里50个用户,10个已经导入平台, 那么统计时,只会显示已选择40个用户。 IAM平台限制一个IAM用户不能加入超过10个用户组,而导入时还会再加入医疗用户组。如果IAM用户在导入平台之前就已经加入了10个用户组,则导入的时候会失败。 用户数统计时会去重。例如,用户组A有50个用户, 用户组B里有50个用,两者之间有10个用户重复,那么同时选择用户组A和B,统计时显示已选择90个用户。 如果导入后用户状态显示异常,需联系技术支持处理。 单击“下一步”,设置角色。 角色:支持管理员和操作员两种角色,默认为操作员。权限描述可以参考表2。 用户资源配额:设置用户的个人资源配额。详细请参考个人资源配额。 配置完成后,单击“确定”。 等待导入成功后,单击“关闭”。可以在用户管理页面查看导入成功的用户信息。 导入的用户,不支持删除,只支持移除,移除后不影响该用户操作其他服务。 图3 查看导入用户 医疗平台用户会在IAM中赋予以下细粒度权限,若该用户加入的其他IAM用户组有对应的deny权限,则会影响平台部分功能使用。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:GetObjectVersionAcl", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:object:AbortMultipartUpload", "obs:object:DeleteObjectVersion", "obs:object:GetObjectAcl", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket", "obs:object:PutObject" ] } ] } 父主题: 用户管理
  • 创建子用户 使用管理员账户登录医疗智能体平台。 在右上角用户名中选择“用户管理”。 图1 用户管理 在用户管理页面,单击左上角“创建用户”,进入“创建用户”页面。 填写用户信息,分配子用户权限。 填写必填信息。必填信息包括“用户名”、“角色”、“密码”。 “角色”分为管理员和操作员。权限区别请参见表 用户权限。 图2 必填信息 选填信息。选填信息包括“邮箱”、“国际电话区号”、“手机号码”、“用户资源配额”。 图3 选填信息 单击“确认”,完成子用户创建。 父主题: 用户管理
  • 用户管理介绍 EIHealth平台支持两种类型的用户管理,可以帮助您安全地控制平台的访问和使用权限。 表1 用户管理类型 类型 说明 系统级别用户管理 系统级的角色配置,可创建平台的子用户,并为其分配权限。 项目级别用户管理 资源级的角色配置,以项目为粒度对数据、分析作业、开发环境和镜像进行分组,以便用户通过项目进行资源的访问、共享和协作。详细介绍请参见项目管理,项目级用户不同角色对应的权限请参考成员角色和权限。 图1 系统级别用户管理 图2 项目级别用户管理 购买平台的账号是资源的归属以及使用计费的主体,对其所拥有的资源具有完全控制权限。 在您购买了平台后,所属账户即为平台的管理员账户。可以使用“用户管理”功能,创建子用户,并给子用户分配管理员或操作员权限。不同用户权限如表 用户权限所示。 表2 用户权限 用户角色 权限说明 管理员 拥有平台所有的权限,并进行用户管理,在平台添加子用户,以及对资源管理权限,包含有存储计算资源的购买和删除,自动扩缩容的策略配置权限。 操作员 拥有除用户管理、系统设置、设置商标、购买系统资源之外的所有权限。 购买平台的账户为管理员账户,该账户不可被删除。 管理员可以创建子用户,并将子用户授权为管理员。子管理员同样具备“用户管理”功能。 对于系统级别的管理员用户(购买平台的账户),可以在平台右上角用户名中选择“用户管理”,在“操作”列中选择“安全设置”,重置其他用户的邮箱、手机和密码信息。 单击“重置邮箱”后,可以选择清除邮箱或绑定新邮箱。 单击“重置手机号”后,可以选择清除手机号或绑定新手机号。 单击“重置密码”后,输入新密码和确认密码。用户密码重置成功后,首次登录成功需要再次修改密码。 父主题: 用户管理
  • 作业状态 运行中:作业创建成功,执行中。可单击作业名称,进入详情页查看运行详情。“运行中”的作业允许取消、克隆。 失败:作业运行失败。可单击作业名称,进入详情页查看运行失败原因。失败的作业允许重试、删除、克隆。 成功:作业运行成功。可单击作业名称,进入详情页查看运行详情。成功的作业允许删除、克隆。 已提交:作业创建成功,但未运行。已提交的作业允许取消、克隆。 已取消:取消已提交或者运行中的作业。已取消的作业允许重试、删除、克隆。
  • 管理流程 流程创建成功后,您可以对流程进行编辑,删除操作。 编辑 选择已创建成功的流程,单击操作列的“编辑”,进入流程编辑页面。除了流程名称不能更改,您可以修改已有流程的其他参数配置项。 删除 通过单击操作列“删除”,可删除对应的流程。 下载流程文件 单击流程名称,进入流程详情页面,单击流程文件后的“下载”,可下载该流程文件。 下载流程参数 单击流程名称,进入流程详情页面,单击流程参数后的“下载”,可下载该流程设置的参数文件。 图1 下载流程文件/参数 父主题: Nextflow
  • 安装Nextflow Nextflow需要用户自己进行安装,安装的权限只有管理员拥有。 在平台右上角用户名中选择“系统设置”。 在“Nextflow配置”模块,单击“安装”。 图1 安装Nextflow 选择安装方式。目前支持GitHub获取和上传安装包两种方式。 GitHub获取:可以选择版本,目前支持选择的安装包版本v22.10.6,v22.10.0,v22.04.0。 上传安装包:用户直接上传一个Nextflow的安装包。如果选择此方式,您可以单击“点击此处”进入nextflow release进行下载安装包。 图2 选择安装方式 单击“开始安装”。
  • 简介 Nextflow是专门针对生物信息流程搭建而开发的一种框架语言,它能够很好的管理生信流程,并且将其与Conda、Docker、Singularity结合起来使用,可以很好的将流程在不同平台之间进行迁移,并且能够保证结果的可重复性。Nextflow最大的优点是它是基于数据流的程序模型,因此不用自己去写复杂的并行化的程序,只需要关注“数据流”即可。流程中的每个process可以通过配置文件快速的定制并行执行的样本数目,大大节约了生信人员搭建组学分析流程的时间。 医疗智能体(EIHealth)平台集成了Nextflow框架,支持用户直接在医疗智能体(EIHealth)平台安装Nextflow。 父主题: Nextflow
  • 归档数据 平台支持数据的归档机制,您可以将核心数据进行归档,避免误删造成损失。 在“数据”页面单击“归档”,进入归档数据页面。 图1 选择归档 填写归档的参数信息。 表1 参数说明 参数 说明 名称 设置归档数据的名称。归档名称长度为1-100。 描述 归档数据描述信息。 归档类型 选择归档数据存储类型。默认为标准存储。 标准存储:适合高性能,高可靠,高可用,频繁访问场景。 归档存储:适合长期存储,平均一年访问一次。 说明: 归档存储的费用为单独计费。 删除原数据 是否删除原数据。如果选择删除原数据,系统会在归档完成后统一删除已归档数据。归档后的数据可在归档中心查看或恢复。 在归档过程中请不要对归档的文件或者文件夹进行添加、更改操作,以免造成您的数据损失。 选择归档数据 选择该项目下需要归档的数据。 单击“确认”,进行归档。 归档操作将记录在“归档”页面,您可以在该页面查看归档记录,并进行归档恢复、删除操作。归档恢复时,您可以将数据恢复至本项目或有权限的其他项目。 图2 归档数据 执行归档操作时,归档的对象,其最深目录下的对象路径长度不能超过987,否则会归档失败。例如,选择项目中的 a/目录进行归档,a/目录下最深一级的文件 a/xxxx/xxx./.../obj的总长度不能超过987。 执行归档操作时,若包含禁止删除的文件或文件夹,并打开了删除原数据开关,则被设置为禁止删除的文件或文件夹会删除失败,其他文件或文件夹删除正常。 使用obsutil上传数据,必须加full controle,否则会导致归档失败。 归档作业取消后,不支持重试。 选择归档类型为归档存储后,对应的归档数据至少要保存90天,如果在90天内删除归档数据,需要支付不足90天的惩罚费用。详细可参考不同类型的归档,费用分别是多少。 父主题: 数据管理
  • 引用数据 将其他项目或OBS桶中的数据,引用到本项目,不可在本项目中操作该数据。 单击“添加数据”,类型选择“引用”。 图3 引用数据 选择需要引用的项目以及项目中的数据,或者选择待引用的OBS桶路径,先选择OBS桶所在区域,再选择OBS桶名称,支持选择不在同一区域的OBS桶。 单击“确定”,引用其他项目中的数据至本项目。 引用的数据和项目将显示在左侧的数据列表中。 图4 引用的数据 引用OBS类型数据时,如果数据在OBS中的存储类型为“归档存储”,则将该数据引用过来后,该数据不能用于创建分析作业、数据库导入数据,并不可下载、归档。 引用外部OBS桶的数据时,在页面左侧数据栏中,将显示出完整的外部桶目录结构,对于非引用路径的数据,不支持数据归档操作。例如,桶中有文件,路径为a/b/c,引用c文件,c文件的父目录也会显示在左侧数据栏中,但目录a, 目录b 不支持数据归档。 平台系统管理员在自己的所有者、管理员、开发者、上传者项目可以引用OBS类型数据。平台系统管理员在自己的所有者、管理员、开发者、项目可以解除引用OBS类型数据。其他角色的用户仅能使用引用进来的OBS类型数据。
  • 镜像导入 镜像按照项目进行划分和管理,隶属于不同项目的镜像可以使用“镜像导入”,导入到本项目中,进行使用。 使用“镜像导入”功能,用户需是其他项目中的成员,且为其他项目的“所有者”或“管理员”。 单击项目名称,进入所选项目,并选择“镜像”,进入镜像管理页面。 单击“镜像导入”。并选择镜像所在的项目、镜像和镜像版本。 图1 镜像导入 单击“确定”,完成镜像导入。 从其他项目导入的镜像,在镜像列表“源项目”列中,显示所属的项目。
  • 创建项目 您可以在“项目管理”页面创建一个新的项目。 在“项目管理”页面单击“创建项目”。 配置项目信息。 表1 参数说明 参数 说明 项目名称 项目名称长度限制3-45,以小写字母数字开头结尾,全文包含数字、小写字母、下划线、中划线。 核心项目 如果设置该项目为核心项目,不支持立即删除,会进入待删除项目列表。删除项目需要等待7天保留期,到期后系统自动删除。 说明: 一旦设置为核心项目,不可变为非核心项目,非核心项目支持变为核心项目。 标签 设置项目标签。 描述 设置项目描述。 数据保护策略 数据保护策略介绍请参见数据控制与数据审计。 图1 创建项目 单击“确认”,创建一个新的项目。 项目的创建者默认拥有项目的完整权限,同时项目可以分享给其他用户,并限定其他用户的访问权限。项目角色为项目粒度权限控制,同一用户在不同的项目上可能拥有不同的角色。 创建的项目配额请参见配额管理进行查询。详细添加项目成员并分配角色的方法请参见添加项目成员。 父主题: 项目管理
  • 场景1 作业投递后处于运行中,运行过程正常,但是最后超时失败。 排查思路 判断是否是作业超时。 单击“状态”右侧的失败图标,查看失败原因,若为Graph timeOut for executin xxx,则可以确认为作业超时失败。 解决方法 根据实际业务需要,在“创建作业”阶段,设置合适的超时时间,默认设置的超时时间为24小时(1440分钟),最大可设置为144000分钟,即作业运行至多100天。 图1 作业设置
  • 场景5 并发投递多个作业后,部分作业运行失败,日志中显示IO读写相关错误。 图8 运行出错的应用日志 排查思路 检查同一时刻投递作业的输出路径是否存在重复。若存在重复,则很有可能是并发写入同一个文件导致的异常,若不存在请联系服务技术支持解决。 解决方案 平台提供了作业级输出路径,流程级输出路径,子任务级输出路径用于做不同层级的文件隔离。如下图所示,如果三者填写的路径相同,请修改输出路径后重试,如果填写的不同,请联系服务技术支持解决。当三者均不填写时,平台会自动生成随机路径。 图9 作业级输出路径 图10 流程级输出路径 图11 子任务级输出路径
  • 场景2 作业投递后处于运行中,但是无日志打印,也没有任何符合预期的输出文件生成。 排查思路 首先需要用户自行确认一下投递的作业是否会在控制台打印日志,如果是有重定向日志输出到具体文件的话,此处无日志为正常现象。 子任务的事件中,确认作业子任务的实例是否有正常创建。 图2 子任务的事件 查看实例的事件,查看实例是否有正常创建。 图3 实例的事件 解决方法 若子任务未正常创建,请联系服务技术支持解决。 若子任务正常创建,但是实例未正常创建,可以通过事件信息分析,常见有以下问题场景和对应解决方案。 0/4 nodes are available: XXX Insufficient cpu 或者 XXX Insufficient memory。该场景表示当前集群中无充足的计算资源,可以根据实际需要提前结束掉其他作业或notebook来释放资源,也可以进入系统资源页面购买新节点。 0/4 nodes are available: XXX node(s) didn't match node selector。该场景表示当前集群中无计算资源满足标签要求,用户可以进入系统资源页面,选择节点,通过标签管理给节点添加标签。 其他场景可以联系服务技术支持解决。
  • 场景6 作业投递后运行失败,日志显示File name too long。 图12 运行出错的应用日志 排查思路 检查输入文件的路径单级名称长度是否超过255个字符。若单级名称长度未超过255个字符请联系技术支持。 解决方案 单级目录名称长度超过255个字符。 不使用SFS或者EVS加速。 若必须进行IO加速,则更改输入文件的路径为单级目录名称不超过255字符的路径。 若单级名称长度未超过255个字符请联系技术支持。
  • 场景7 同时复制多个文件,日志中显示cp: will not create hard link相关错误信息 图13 输入输出参数信息 图14 应用信息 图15 失败日志信息 排查思路 检查作业是否存在文件或目录类型的输入参数,并且未开启并发,同时改输入参数还填入了多个值,并且路径存在包含关系,如上图所示。 假定镜像命令为cp -rf ${input} ${output},变量替换后实际执行命令为cp -rf /test/sub /test /output,此时会触发cp: will not create hard link的错误。若不符合上述场景,请联系技术支持。 解决方案 首先排查业务场景是否需要涉及并发,若涉及,请前往应用详情页面开启并发选项即可,则不会出现本问题场景。 图16 开启并发 若不涉及并发,则优先排查镜像启动命令设置是否合理、是否确实需要复制路径存在包含关系的多个文件或目录。若不存在相关场景,根据实际业务需求,修改镜像启动命令即可。 若确实存在路径需要包含多个文件或目录,可参考如下方案解决。 以下图为例,首先调整应用的输入参数为input-a和input-b,分别表示两个路径存在包含关系的目录(/test/sub和/test )。 然后修改应用的镜像启动命令如下即可。 cp -rf ${input-a} ${output}; cp -rf ${input-b} ${output}; # 变量替换后实际执行命令会是 cp -rf /test/sub /output; cp -rf /test /output;
  • 管理数据库 数据库创建完成后,您可以对数据库内的数据执行编辑、删除、新增行操作。预制数据库和引用数据库不支持编辑、删除、新增行操作。 编辑 数据库创建完成后,单击数据库名称进入数据库详情页,在页面左上角单击“编辑”按钮。 在需要修改的数据行的操作列单击“编辑”,修改数据。 编辑时,主键内容不能修改,编辑的值,需要对照数据库模板值进行填写。 对于空的数据库,编辑时,只允许新增行。 图1 编辑数据 修改完成后,单击“保存”。 删除 数据库创建完成后,单击数据库名称进入数据库详情页,在页面左上角单击“编辑”按钮。 在需要删除的数据行的操作列单击“删除”。 图2 删除数据 在删除弹窗中,单击“确定”。 新增行 数据库创建完成后,单击数据库名称进入数据库详情页,在页面左上角单击“新增行”按钮。 图3 新增行 在新增的数据行中,填写数据。 新增的行的数据请按照模板的格式填写。 填写完成后,单击“保存”。
  • 导入模板 提供两种模板导入方式: 平台支持导入其他项目的模板,用户需是其他项目中的成员,且为其他项目的“所有者”或“管理员”,预置的模板不支持导入。 在左侧导航栏选择“模板”页签,单击“导入模板”。 导入方式选择“项目”,选择项目名称,勾选需要导入的模板,可以在“导入模板名称”中修改模板名称,单击“确定”。 图1 从其他项目导入模板 平台也提供了yaml格式的数据库模板,您可以在本地编辑完成后上传至平台进行使用,数据库模板支持yaml或yml格式,且文件大小不能超过10M。 导入方式选择“上传”,单击“下载示例文件”下载数据库模板示例,编辑后上传模板文件至平台,单击“确定”。 图2 上传模板 模板示例如下: database: name: demo # 模板名称,必填,长度范围[3,32],只能包含字母、数字、中划线、下划线,必须以字母开头 description: This is demo template # 模板描述,非必填,最大长度允许1024 columns: # 数据库列定义列表,必填,最多不能超过100个 - name: id # 列名,必填,长度[1,55],必须以字母开头,只能包含字母、数字、下划线 description: identifier # 列描述,非必填,最大长度1024 type: Long # 列类型,必填,支持Long,String,Double三种类型 nullable: false # 列是否允许未空,必填 unique: false # 列是否增加唯一约束,必填 primary: true # 列是否作为主键,必填,若有多个列设为true,则多个列组成复合主键 searchable: true # 列是否可查询,必填 tips: uuid # 列的查询提示,非必填, 若该列为可查询列,可提供查询提示 - name: user_name description: user name type: String nullable: false unique: false primary: false searchable: true tips: string - name: score description: score type: Double nullable: false unique: false primary: false searchable: true tips: string
共100000条