检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看作业计算过程和作业报告 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果
查看作业计算过程和作业报告 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果
查看作业计算过程和作业报告 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果
部署计算节点时,“状态”列长时间显示为“部署中”(超过20分钟),如何查看计算节点部署情况? 用户部署计算节点的节点,如果是第一次部署计算节点,会从远端拉取计算节点的镜像版本到节点,导致时间较长。当节点上已经存在镜像版本,再次在该节点上部署计算节点时,会直接使用节点上的镜像版本创建计算节点
统计型作业的差分隐私保护 本示例作业,以统计各行业的“企业税收总和”与“用电量总和”,进行统计分析: Select industry, sum(tax_bal), sum(electric_bal) from LEAGUE_CREATOR.tax a join
训练型横向联邦作业流程 联邦学习分为横向联邦及纵向联邦。相同行业间,特征一致,数据主体不同,采用横向联邦。不同行业间,数据主体一致,特征不同,采用纵向联邦。xx医院的应用场景为不同主体的相同特征建模,因此选用横向联邦。 创建训练型横向联邦学习作业。 图1 创建训练型横向联邦学习作业
发布数据 前提条件 计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS控制台后
对接AOM日志服务 对接AOM日志服务后,AOM服务将支持收集可信计算节点日志,推荐开启。 计算节点为云租户部署时,在购买时打开“开启AOM日志监控”功能,即可对接AOM。 计算节点为边缘节点部署时,需要手动在IEF平台对接AOM。 约束限制 对接AOM之后,相应的日志存储在AOM
安全沙箱机制 背景 当计算节点执行横向联邦训练型作业时,若执行脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python
数据准备 乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,
管理实例 实例管理是可信智能计算服务提供的一项查看计算节点作业实例的功能。通过实例管理,用户可以查看到该计算节点所有作业的执行实例,并查看作业的状态、计算过程、执行结果。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理
审批模式作业 TICS基于安全隐私策略的数据安全防护会自动拒绝不合法的SQL语句执行,但当安全规则限制过强的时候,可能会影响正常业务的执行。 对此TICS 提供作业审批功能。配置生效后,所有的计算任务执行时,均会生成审批报告,提交到数据提供方侧,由提供方确认关联数据集的用途和风险。
管理任务 任务管理是可信智能计算服务提供的一项查看计算节点参与任务的功能。通过任务管理,用户可以查看到曾在该计算节点上执行过的所有作业,并查看自己这个计算节点在作业中的位置以及数据流向。 通过任务管理,用户可以查看自己的计算节点在空间中的作业参与度,并通过“计算过程”来确认数据是否合理
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic Regression
阶段三:审批防护 开启审批防护功能 前提条件 完成隐私规则防护。 操作步骤 敏感数据被查询时,可以在审批详情中,看到是否使查询敏感数据的结果可见,可由该提供方进行识别,并进行拒绝操作。 图1 审批详情 在审批详情中也可看到两个字段相加的情况,如下图所示。 图2 字段相加 通过查看字段是否可见
创建纵向联邦学习作业 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 参与方的计算节点如果是采用云租户部署,并且使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加权限配置
开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据,和评估/预测数据。 数据预处理作业选择的结构化数据集(包括CSV
阶段四:基本计算能力验证 验证TICS的基础计算能力,以计算各企业在2021年的价值评分,用于评估信贷能力,其中的公式仅为简单的参考计算式。 前提条件 完成审批防护。 操作步骤 执行如下的sql作业。 select c.id as `企业id`, 0.5 * a.tax_bal
申请使用数据 数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后
合作方如何获取租户名称? 合作方登录TICS控制台。 进入TICS控制台后,单击页面右上方账号名称,进入基本信息页面。 图1 入口 查看基本信息,获取到的账号名即为租户名称。 图2 获取租户名称