检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。 假设您有如下数据集(只展示部分数据),由于数据不够完整,如job、gender等字段均存在一定程度的缺失。为了不让机器理解形成偏差、以达到机器学习的使用标准,需要基于对数据的理解,对数据进行特征预处理。例如:
verification failed”。 原因是SQL语句中存在使用隐患字段的情况。 请根据具体提示,涉及以下情形请检查并修改SQL语句: 情形一:直接查询其他参与方的唯一标识、度量数据。 情形二:试图使用唯一标识做条件过滤操作。 情形三:使用直接可以逆推度量数据的简单计算式。 情形四:将标识分组后的度量数据聚合值直接明文呈现。
开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据,和评估/预测数据。 数据预处理作业选择的结构化数据集(包括
准备工作简介 如果您是第一次使用TICS,需要完成以下准备工作: 注册账号并实名认证 配置CCE服务 购买TICS服务 授权IAM用户使用TICS 准备数据 启用区块链审计服务(可选) 父主题: 准备工作
匹配属性的用户才能打开文件,达到数据出域后仍然主权可控的目的。 进行数据交换的角色分为用数方和供数方,用数方通过发送申请传递数据使用需求;供数方确认使用需求后,创建合约发送到供数方进行签署,一旦合约生效,数据交换作业就可以执行。 父主题: 可信数据交换
步骤1:准备工作 如果您是第一次使用TICS,请参考准备工作,完成注册账号并实名认证、配置CCE服务、购买TICS服务、授权IAM用户使用TICS、准备数据、启用区块链审计服务(可选)等一系列准备工作。 本入门示例,是为了演示TICS使用的全流程。组织方在组建空间时,需要至少添加1位合作方。
用户需要计算节点短暂脱离空间,一段时间内不想被其他参与方使用自己的数据时,可以手动触发计算节点下线。即“计算节点状态”为“在线”时,触发单击下线,计算节点会切换成离线状态,180秒后空间其他参与方无法使用该计算节点已发布的数据集运行作业。 用户想要加入空间,想被其他参与方使用自己的数据时,可以手动触发计算
空间是联邦计算的载体。空间需要购买才能使用,在空间中可以管理合作成员,合作数据以及查看可信智能计算环境。执行联邦计算任务需要指定空间。 聚合器(AGG) 聚合器,进行多方数据运算结果的聚合。 合作方(Partner) 空间成员,有权使用空间中的数据,或者将自有数据发布到空间,供其他合作方受限使用。 邀请(Invitation)
connector_type 是 String 连接器类型 1.MRS--MapReduce连接器 2.JDBC--JAVA数据库连接器 3.MYSQL--MySQL连接器 4.DWS--高斯数据库连接器 5.ORACLE--ORACLE连接器 auth_type 是 String 认证类型1.PWD----密码
riance; 系统函数:包含时间日期函数、字符串函数、数学函数。使用介绍如表1所示。 通配符:%;--与like配合使用; 编写SQL语句时,您可以使用作业变量定义需要在执行中替换的过滤条件值 作业变量名仅可使用字母、数字、下划线,否则不会被识别,格式为${变量名},如:${USER_NAME}
S服务、授权IAM用户使用TICS、准备数据、启用区块链审计服务(可选)等一系列操作后,可以根据自身的业务需求使用TICS提供的常用实践。 表1 常用最佳实践 实践 描述 基于TICS实现端到端的企业积分查询作业 本最佳实践提供了通过统一制定隐私规则,使用TICS进行安全计算,避免真实数据被窃取的使用案例。
产品功能 动态空间管理 动态构建可信计算空间,实现空间内严格可控的数据使用和监管。空间是联邦计算的载体,合作方只有加入空间才能参与联邦计算。 安全的作业管理 作业时,数据使用的过程可审计、可追溯。TICS数据集成支持多方安全计算、可信联邦学习和联邦预测作业等作业方式。 多方安全计算
约束与限制 使用TICS前,您需要认真阅读并了解以下使用限制。 浏览器限制 您需要使用支持的浏览器版本登录TICS。 表1 浏览器兼容性 浏览器 建议版本 Google Chrome 120,119,118
发布数据 前提条件 计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS
管理密钥 密钥用于对加密的数据文件进行AES加解密。在多方安全计算作业场景,当SQL语句使用系统函数进行AES加解密时需要使用密钥。 约束限制 上传密钥文件需要以.key为后缀结尾。 上传密钥文件大小不超过256B。 上传密钥文本为base64编码之后的密钥,长度小于1000。 上传密钥
查询空间已注册数据集列表 功能介绍 功能描述:用户可以使用该接口查询空间已注册数据集列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/datasets 表1 路径参数 参数 是否必选 参数类型 描述
与其他云服务的关系 统一身份认证服务 TICS使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证和鉴权功能。 云审计服务 TICS使用云审计服务(Cloud Trace Service,简称CTS)审计用户在管理控制台页面的操
阶段二:隐私规则防护 使用TICS的隐私规则防护能力确保数据安全。 前提条件 完成数据发布。 操作步骤 进入多方安全计算的作业执行界面,单击创建。 图1 创建作业 在作业界面中,按照1~4提供的案例和SQL语句进行作业测试。 图2 作业界面 假设有人输入以下代码试图直接查询敏感数据。
配置CCE集群子账号权限 前提条件 已使用云租户部署计算节点。 操作步骤 以主账号登录CCE管理控制台。 在控制台左侧,单击“权限管理”,在“权限管理”页面,选择需要增加权限的CCE集群,单击右上角“添加权限”,进入添加权限页面。 图1 CCE管理控制台权限管理 在添加权限页面,
和分析功能。 您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关SQL作业并获取您所需要的分析结果,能够在作业运行的同时保护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。 父主题: 服务介绍