检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
将TICS资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用TICS服务的其它功能。
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict.csv
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模
审批数据申请 数据拥有方公司A登录进入计算节点页面。 在左侧导航树上选择“可信数据交换 > 数据申请”,打开数据申请页面。 在数据申请页面单击“我收到的”,查看供数方节点收到的申请列表。 数据来源为数据需求方公司B发送来的使用申请:申请交换的数据集、数据集字段(结构化数据才有该字段
获取数据详情 功能介绍 本接口用于获取数据集详情。 调用方法 请参见如何调用API。 URI GET /v1/agents/datasets/{dataset_id} 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集id。 支持数字,英文字母
创建数据集 通过数据集,用户可获取到名下详细的资源列表。同时,对于有敏感信息的数据集,还可以单独设置隐私策略,并在发布到空间侧后对其他参与方生效,限制敏感信息的使用,保障数据安全。 创建结构化数据集 创建数据集前需存在已创建好的连接器,参考创建连接器。 用户登录TICS控制台。 进入
发布数据集 企业B分别自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 企业B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 外部数据共享
数据集发布 前提条件 完成数据准备工作。 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接
数据集统计 功能介绍 用户可以使用该接口进行空间数据集统计。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/datasets-statistics 表1 路径参数 参数 是否必选 参数类型 描述 league_id
发布数据集 企业A和企业B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 以企业A为例,数据集信息如下: 隐私求交场景需要将求交的字段设置为“非敏感”的唯一标识。 父主题: 隐私求交黑名单共享场景
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS
申请使用数据 数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测