检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CCE中安装部署Jenkins 在CCE中安装部署Jenkins方案概述 资源和成本规划 实施步骤 父主题: DevOps
发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离的,当某个作业想去访问或篡改其他作业相关的文件时,无法找到作业执行结果文件,因此脚本执行失败、无法篡改,从而实现安全防护。 图3 恶意脚本执行结果
选择“已有存储卷声明 (PVC)”,添加1个云存储卷,并在挂载路径下输入/var/jenkins_home,将云存储挂载到Jenkins容器的/var/jenkins_home目录,供Jenkins保留持久化数据。
Jenkins Agent配置 安装完Jenkins后,可能会出现以下提示,说明Jenkins使用Master进行本地构建,未配置Agent。
例如,shell脚本(文本文件)描述如何自动执行command命令,AOS模板也一样,用来描述各种云对象的创建、销毁等流程。 以Shell脚本为例,其执行逻辑如下: Shell脚本特点大致为: 脚本是一个文本文件。 如果脚本写的好,可以重复执行。
部署计算节点时,“状态”列长时间显示为“部署中”(超过20分钟),如何查看计算节点部署情况? 用户部署计算节点的节点,如果是第一次部署计算节点,会从远端拉取计算节点的镜像版本到节点,导致时间较长。当节点上已经存在镜像版本,再次在该节点上部署计算节点时,会直接使用节点上的镜像版本创建计算节点,创建时间较快。
图1 K8s安装Jenkins架构 操作流程 Jenkins Master安装部署。 Jenkins Master使用容器化镜像部署在CCE集群中。 Jenkins Agent配置。
获取方式: https://pkg.jenkins.io/redhat-stable/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.io.key 免费 操作步骤 安装JDK 考虑到和Jenkins版本的兼容性,选择安装
Jenkins安装与配置 部署jenkins.war 删除tomcat-tomcat8/webapps/ 里面所有项目文件 rm -rf /root/servers/jenkins-tomcat8/webapps/* 复制jenkins.war到/root/servers/jenkins-tomcat8
GitLab自动触发Jenkins构建 GitLab触发Jenkins构建,有以下两种方式: 方式一:通过配置好的Webhook来Push events,触发Jenkins构建任务。 方式二:修改构建配置指定分支的文件来Push events,触发Jenkins构建任务。
台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。 创建文件 用户登录TICS控制台。 进入TICS控制台后,单击页
边缘节点部署模式下创建节点,该如何配置资源分配策略? 使用场景 购买计算节点页面,选择边缘部署模式。 操作步骤 进入购买计算节点页面。 部署配置选择边缘节点部署。 云租户部署模式下,TICS服务可以按照选取的规格,为客户预置默认资源分配策略。 边缘节点部署模式下,使用的纳管节点为
Jenkins流水线支持多组件按照依赖顺序部署 概述 前提条件 操作步骤
ModelArts和PriorityModelArts只有在CCE计算节点才能选择,IEF计算节点只能选择LOCAL。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。
”,且长度为1~128个字符 描述 作业的详细描述信息。 作业类型 用户下拉选择所需作业类型即可。 运行环境 表示可信联邦学习作业在本地运行。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数
0为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤
Gitlab自动触发Jenkins构建 Gitlab触发Jenkins构建有以下两种方式: 通过配置好的Webhook来Push events,触发Jenkins构建任务。 修改构建配置指定分支的文件来Push events,触发Jenkins构建任务。
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将数据上传,作为可信计算服务的输入,通过执行多方安全计算和可信联邦学习作业后,最终拿到结果。 计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container
步骤5:空间成员部署计算节点 同一个空间中的用户,在使用可信计算服务时(多方安全计算和可信联邦学习),需要部署计算节点,将自己的数据上传,用于可信计算服务的输入。 部署计算节点 空间成员登录TICS控制台。进入TICS控制台后,单击页面左侧“通知管理”,进入通知管理页面。 浏览通
模型文件,通过该功能即可将模型文件上传到数据目录,并支持批量删除。在创建联邦学习作业时可以选到上传的脚本模型等文件,提高了易用性及可维护性。 使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
host_agent_name 是 String 发起方agent别名,最大长度128 boot_file_url 是 String 训练脚本路径,最大长度512 model_file_url 是 String 模型路径,最大长度512 engine_id 否 String 引擎id,最大长度50
id,最大32位,由字母和数字组成 host_agent_name String 发起方可信计算节点名称,最大长度128 boot_file_url String 训练脚本路径,最大长度512 model_file_url String 模型路径,最大长度512 engine_id String 引擎id,最大长度50
037553105503320694 编写训练脚本(作业发起方) 作业发起方还需要编写联邦学习训练脚本,其中需要用户自行实现读取数据、训练模型、评估模型、获取评估指标的逻辑。计算节点会将数据集配置文件中的path属性作为参数传递给训练脚本。 JobParam属性如下: class JobParam:
如何排查可信环境互信状态 使用场景 在部署了空间和可信计算环境后,用户如何去排查空间和可信计算环境的互信状态。 操作前提 已部署空间和可信计算节点。 操作步骤 进入空间管理页面。 单击空间名称进入空间详情页面。 图1 空间详情 单击可信计算环境TAB页。 鼠标单击未信任节点旁边问号按钮,查看节点未信任原因。
配置CCE集群子账号权限 前提条件 已使用云租户部署计算节点。 操作步骤 以主账号登录CCE管理控制台。 在控制台左侧,单击“权限管理”,在“权限管理”页面,选择需要增加权限的CCE集群,单击右上角“添加权限”,进入添加权限页面。 图1 CCE管理控制台权限管理 在添加权限页面,
如何修改结果文件的权限? 部署方式 OBS存储 使用“云租户部署”的“OBS存储”存储方式部署的可信计算节点生成的结果文件均存储在obs云服务中,可以通过obs服务下载,文件的权限策略根据用户在obs服务上的配置决定。 极速文件存储卷或边缘节点部署 而以“云租户部署”的“极速文件