检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行联邦学习作业时,报“ERROR UNAVAILABLE:Network closed for unknown reason”,如何解决? 问题描述 执行联邦作业时,出现“ERROR UNAVAILABLE:Network closed for unknown reason”报错信息。
阶段六:统计型作业的差分隐私保护 本示例作业,以统计各行业的“企业税收总和”与“用电量总和”,进行统计分析: Select industry, sum(tax_bal), sum(electric_bal) from LEAGUE_CREATOR.tax a join
基于MPC算法的高安全级别计算 完成demo验证阶段,为提升数据保护级别,接入以纯密文的状态做计算的更高安全级别的数据,可以通过开启高隐私级别开关,提升空间安全级别。 图1 高隐私级别开关 再次单击作业,审批进行的同时敏感数据被进行了同态加密。DAG图显示了“psi + 同态”的
使用TICS多方安全计算进行联合样本分布统计 场景描述 准备数据 发布数据集 创建样本分布统计作业 执行样本分布联合统计 数据优化 父主题: 纵向联邦建模场景
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS可信联邦学习进行联邦建模
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。
创建横向训练型作业 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择存储方式和数据目录,参考部署计算节点。 空间成员完成数据集准备工作,参考准备本地横向联邦数据资源。 空间成员在数据目录中完成数据发布,参考发布数据。 参与方的计算节点如果是采用云租
执行分析作业时,提示“节点内存不足,已拒绝在节点中运行该任务”,如何解决? 执行作业时提运行失败,报错如图1所示: 图1 作业报错信息 TICS针对每个作业,分配了固定的工作内存,当同时运行的作业较多时,可能出现该报错。如图2所示,您可以在TICS空间作业列表查看是否有其他作业正在运行,等待其运行完成,再重试该作业。
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
据厂商B的数据集,为保证数据安全和参与方的知情权,tics服务会自动解析sql语句将大数据厂商B需要执行的sql语句发送到大数据厂商B的计算节点上,当大数据厂商B同意审批之后才可以执行该条sql。 除此之外,tics服务会基于数据集的安全隐私策略自动校验sql语句中字段的使用方式
执行样本分布联合统计 企业A单击“执行”并等待一段时间之后,可以在页面下方“执行结果”看到sql的运行结果。 也可以通过“作业管理 > 多方安全计算 > 历史作业 > 查看结果”查看对应的结果。 父主题: 使用TICS多方安全计算进行联合样本分布统计
"cce:cluster:list", "cce:node:list", "ecs:cloudServers:list", "mrs:cluster:list",
常用概念 合作方、参与方: 空间成员,有权使用空间中的数据,或者将自有数据发布到空间,供其他合作方受限使用。 计算节点 部署在参与方侧,是可信智能计算与合作方侧数据的桥梁,保障数据按照合作方意愿受限使用。 计算节点是管理参与方数据的最小单位。部署计算节点时需要指定空间配置信息。在
环境准备 开发环境简介 参考:获取认证信息 配置CCE服务 配置IEF服务 TICS服务委托授权 配置IEF高可用节点 购买TICS服务 部署计算节点 创建连接器
数据集发布 前提条件 完成数据准备工作。 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接。
准备数据 (可选)准备MRS Hive数据源 如果您的数据需通过MRS Hive发布到TICS,则您需要提前准备MRS Hive数据源。 准备数据步骤如下: 购买MRS服务,操作步骤参考创建集群章节,且MRS服务的VPC必须与计算节点部署节点处于同一个VPC内。 注意事项: “区域”必须与CCE集群在同一个VPC下。
阶段一:数据发布 前提条件 完成数据准备工作。 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接。
API概览 TICS提供的接口为符合RESTful API设计规范的自研接口。 使用空间API可以查询TICS空间的相关信息,如获取空间列表、获取计算节点列表等。空间API可通过调用IAM服务“获取用户Token接口”获取Token进行认证鉴权,支持在API Explorer平台
开发环境简介 在进行多方安全计算应用开发时,要准备的环境如表1所示。 同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 购买TICS服务 在TICS控制台通过下单建立数据空间,或者将租户加入已有的数据空间。 部署计算节点 在TICS控制