检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图4 前往计算节点 选择界面左侧“数据管理”,单击“创建”,在弹出的界面选择本地连接器(localConnector),选择“非结构化”任务类型,配置创建数据的参数,配置完成后单击“确定”。 配置非结构化数据集需注意:
hfl_platform_type String 联邦学习运行平台枚举值。LOCAL,MODEL_ARTS host_agent_id String 发起方agent id,最大32位,由字母和数字组成 host_agent_name String 发起方可信计算节点名称,最大长度128 boot_file_url
concurrency:用户端数据节点的并发度,默认值为1,当需要提升作业性能时,可以修改该参数,参考配置为CCE集群中规格时建议配置范围4~8,大规格部署时建议配置范围为8~16,具体根据实际需求和情况调整。 配置完成后,单击右下角的保存按钮即可新建一个隐私求交作业。 父主题: 隐私求交
数固定为50。 参与方持有的样本数目信息 Host所持样本占比(%) Host样本数 Guest样本数 0.2 2946 11786 0.4 5892 8840 0.6 8839 5893 0.8 11785 2947 下图为当Host方拥有不同数据量时,使用横向联邦对比己方独立训练的性能对比。
参与方计算节点从租户侧网络内的数据中获取数据,并使用安全算法进行加密输出。 数据在TICS提供的服务器中进行机密计算。 最终将计算完成的结果加密返回给作业发起方。 空间的整体配置通过空间管理员进行统一管理。 父主题: 多方安全计算场景
TICS基于安全隐私策略的数据安全防护会自动拒绝不合法的SQL语句执行,但当安全规则限制过强的时候,可能会影响正常业务的执行。 对此TICS 提供作业审批功能。配置生效后,所有的计算任务执行时,均会生成审批报告,提交到数据提供方侧,由提供方确认关联数据集的用途和风险。关联参与方都同意后,才能执行SQL作业。
安全认证配置),然后根据页面提示完成用户的创建。 图3 新建用户 使用新建的用户登录MRS Manager页面,更新初始密码。 将数据资源导入MRS中的Hive,操作步骤参考从零开始使用Hive中关于导入数据的描述。 配置安全组,操作步骤请参考如何配置安全组。 安全组配置示例 该
当计算节点执行横向联邦训练型作业时,若执行脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python安全沙箱来单独运行横向联邦作业,做到作业运行的安全隔离。
edc8357011b0449ca985daabd531083c.host_f50_50w_1.f0,edc8357011b0449ca985daabd531083c.host_f50_50w_1.f1,edc8357011b0449ca985daabd531083c.host_f50_50w_1.f2,edc
hfl_platform_type 是 String 联邦学习运行平台枚举值。LOCAL,MODEL_ARTS host_agent_id 是 String 发起方agent id,最大长度32 host_agent_name 是 String 发起方agent别名,最大长度128 boot_file_url
标签方可信计算节点,最大长度100 label_agent_name 否 String 标签方可信计算节点名称,最大长度128 host_agent_id 否 String 可信计算节点ID,最大长度32 host_agent_name 否 String 可信计算节点名称,最大长度128 data_protection_type
"datasets" : "018713527a1d49638eb27b305bc0cc8c.breast_hetero_mini_host.space_creator,0573513cac934b6aab79856c355ee7a2.ief_breast_hetero_mini_guest
league_id String 空间ID league_name String 空间名称 cluster_type String 部署类别:cce部署、ief部署、外部可信计算节点 storage_type String 挂载类别:主机挂载、obs挂载 cce_vpc_id String
在配置页签找到日志配置,在系统日志下单击”编辑”按钮,参考图2进行配置。 图2 系统日志配置样例 系统日志配置完成并保存后,切换到应用日志,参考图3进行配置。 图3 应用日志配置样例 应用日志配置完成并保存后,此节点配置完成,成功对接AOM。 AOM服务查看可信节点日志 用户登录华为云。 搜索AOM服务,进入AOM服务控制台。
在IEF服务控制台,单击“边缘应用 > 应用配置”,进入配置项页签。 图14 进入配置项页签 在配置项列表上方的搜索栏中输入3中记录的实例名称前三段,搜索配置项。 图15 搜索配置项 单击搜索到的配置项对应操作栏中的“更新”,进入更新配置项页面。 图16 更新配置项 在更新配置项页面,搜索“FILE”
准备工作 准备工作简介 注册账号并实名认证 配置CCE服务 配置IEF服务 TICS服务委托授权 购买TICS服务 授权IAM用户使用TICS 准备数据 启用区块链审计服务(可选) 参考:获取认证信息 配置IEF高可用节点 配置CCE集群子账号权限 购买Model Lite资源池
修改该参数,参考配置为CCE集群中规格时建议配置范围为4~8,大规格部署时建议配置范围为8~16,具体根据实际需求和情况调整。 user.task.concurrency:在用户所属计算节点计算时的并行度,默认值为1。当需要提升作业性能时,可以修改该参数,参考配置为CCE集群中规
环境准备 开发环境简介 参考:获取认证信息 配置CCE服务 配置IEF服务 TICS服务委托授权 配置IEF高可用节点 购买TICS服务 部署计算节点 创建连接器
修改该参数,参考配置为CCE集群中规格时建议配置范围为4~8,大规格部署时建议配置范围为8~16,具体根据实际需求和情况调整。 user.task.concurrency:在用户所属计算节点计算时的并行度,默认值为1。当需要提升作业性能时,可以修改该参数,参考配置为CCE集群中规
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在