检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从AI Gallery下载到桶里的数据集,再在ModelArts里创建数据集,显示样本数为0 首先需要确认从AI Gallery下载的数据格式,比如压缩包、excel文件等会被忽略,支持格式详情: 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本
样本对齐 单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
置规则的语句会被明确拒绝。 大数据厂商B在自己的计算节点单击“审批管理”模块,找到“待处理”的审批请求单击“查看详情”,可以看到企业A是如何使用自己的数据集的。 确认无误后再单击“同意”即允许企业A使用己方的数据集进行联合统计。 此时企业A在自己的计算节点上可以看到这个样本分布联
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 instance_id
执行样本分布联合统计 企业A单击“执行”并等待一段时间之后,可以在页面下方“执行结果”看到sql的运行结果。 也可以通过“作业管理 > 多方安全计算 > 历史作业 > 查看结果”查看对应的结果。 父主题: 使用TICS多方安全计算进行联合样本分布统计
使用TICS多方安全计算进行联合样本分布统计 场景描述 准备数据 发布数据集 创建样本分布统计作业 执行样本分布联合统计 数据优化 父主题: 纵向联邦建模场景
企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS多方安全计算进行联合样本分布统计
联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题: 计算节点API
定义XGBoost算法中决策树的数量,一个样本的预测值是多棵树预测值的加权和。取值范围为1~50的整数。 树深度 定义每棵决策树的深度,根节点为第一层。取值范围为1~10的整数。 切分点数量 定义每个特征切分点的数量,数量越多,准确率越高,计算时间越长。取值范围为5~10的整数。 分类阈值
征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行可信联邦学习,联合建模。 概念术语
型。 图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。 父主题:
首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
过低的iv值没有区分性会造成训练资源的浪费,过高的iv值又过于突出可能会过度影响训练出来的模型。 例如这里大数据厂商提供的f4特征iv值是0,说明这个特征对于标签的识别没有区分度,可以不选用;而f0、f2特征的iv值中等,适合作为模型的训练特征。 根据计算得出的iv值,企业A调
可信联邦学习作业 可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经也被称为联邦机器学习。 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行联邦机器学习,联合建模。
相关文档 1 纵向联邦学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级 在实际应用中,升级、回滚是一个常见的场景,TICS能
体支持的参数请参考表1。 表1 常规配置参数 算法类型 参数名 参数描述 XGBoost 学习率 控制权重更新的幅度,以及训练的速度和精度。取值范围为0~1的小数。 树数量 定义XGBoost算法中决策树的数量,一个样本的预测值是多棵树预测值的加权和。取值范围为1~50的整数。 树深度
联邦预测作业在保障用户数据安全、模型资产安全的前提下,利用多方数据和模型实现样本联合预测。 目前TICS支持两种类型的预测方式: 批量预测: 批量预测通过在计算节点后台发起离线预测任务的方式,在任务完成后可以获得指定数据集中所有样本的预测结果。 实时预测: 实时预测通过在计算节点部署在线预测服务的方式,允许用户
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 instance_id