云服务器内容精选

  • 条件(Condition) 条件键(Condition)是SCP生效的特定条件,包括条件键和运算符。 条件键表示SCP语句的Condition元素中的键值。根据适用范围,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作,在鉴权过程中,云服务不需要提供用户身份信息,系统将自动获取并鉴权。详情请参见:全局条件键。 服务级条件键(前缀通常为服务缩写,如ecs:)仅适用于对应服务的操作,详情请参见表4。 单值/多值表示API调用时请求中与条件关联的值数。单值条件键在API调用时的请求中最多包含一个值,多值条件键在API调用时请求可以包含多个值。例如:g:SourceVpce是单值条件键,表示仅允许通过某个 VPC终端节点 发起请求访问某资源,一个请求最多包含一个VPC终端节点ID值。g:TagKeys是多值条件键,表示请求中携带的所有标签的key组成的列表,当用户在调用API请求时传入标签可以传入多个值。 运算符与条件键、条件值一起构成完整的条件判断语句,当请求信息满足该条件时,SCP才能生效。支持的运算符请参见:运算符。 E CS 定义了以下可以在SCP的Condition元素中使用的条件键,您可以使用这些条件键进一步细化SCP语句应用的条件。 表4 ECS支持的服务级条件键 服务级条件键 类型 单值/多值 说明 ecs:imageID string 多值 根据请求参数中指定的镜像ID过滤访问。 ecs:FlavorId string 多值 根据请求参数中指定的规格ID过滤访问。 ecs:VpcId string 多值 根据请求参数中指定的网络ID过滤访问。 ecs:SubnetId string 多值 根据请求参数中指定的子网ID过滤访问。 ecs:KmsKeyId string 多值 根据请求参数中指定的加密密钥ID过滤访问。 ecs:ServerId string 单值 根据云服务器ID过滤访问。 ecs:SSHKeyPairName string 单值 根据请求参数中指定的SSH密钥对的名称过滤访问。 ecs:AvailabilityZone string 单值 根据请求参数中指定的可用区名称过滤访问。 ecs:PortId string 多值 根据请求参数中指定的portId过滤访问。 ecs:SupportAgentType string 多值 根据请求中指定的agent类型过滤访问。 ecs:ImageSupportAgentType string 多值 根据请求中指定的镜像支持的agent类型过滤访问。 ecs:VolumeId string 单值 根据请求中指定的卷ID过滤访问。 ecs:ImageType string 单值 根据请求中指定镜像的类型过滤访问(如:公共镜像、私有镜像、共享镜像、市场镜像)。 ecs:OsType string 单值 根据请求中指定镜像的操作系统类型过滤访问(如:Linux、Windows)。 ecs:OsVersion string 单值 根据请求中指定镜像的操作系统版本过滤访问(如:CentOS 7.3 64bit)。 ecs:ImagePlatform string 单值 根据请求中指定镜像的平台过滤访问(如:Windows、Ubuntu、Red Hat、SUSE、CentOS)。
  • 评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案: AB类log函数评分。 AB类均匀权重评分。 C类均匀权重评分。 接下来对三种评分方案进行详细介绍。 父主题: 评测分数计算介绍
  • 关于密钥 加密所需的密钥依赖于 数据加密 服务(DEW,Data Encryption Workshop)。DEW通过数据加密密钥(Data Encryption Key,DEK),对具体资源进行加密,然后通过用户主密钥(Customer Master Key,CMK)对DEK进行加密,保护DEK,如图1所示。 图1 数据加密过程 数据加密过程中涉及的几种密钥,如表1所示。 表1 密钥说明 名称 概念 功能 数据加密密钥 即DEK,是用户加密数据的加密密钥。 加密具体资源。 自定义密钥 是用户通过DEW创建的密钥,是一种密钥加密密钥,主要用于加密并保护DEK。 一个自定义密钥可以加密多个DEK。 支持禁用、计划删除等操作。 默认密钥 属于用户主密钥,是用户第一次通过对应云服务使用DEW加密时,系统自动生成的,其名称后缀为“/default”。 例如:evs/default 支持通过管理控制台DEW页面查询默认密钥详情。 不支持禁用、计划删除等操作。 如果加密云硬盘使用的CMK被执行禁用或计划删除操作,操作生效后,使用该CMK加密的云硬盘仍然可以正常使用,但是,当该云硬盘被卸载并重新挂载至弹性云服务器时,由于无法正常获取密钥,会导致挂载失败,云硬盘不可用。 关于密钥管理的更多信息,请参见《数据加密服务用户指南》。
  • 资源组使用场景 通过资源组可以实现计算实例内的资源管理。对不同用户、不同查询分配不同的资源组,可以起到资源隔离的作用,避免单个用户或查询独占计算实例的资源,也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。 表1 典型资源组使用场景 典型场景 解决方案 随着使用计算实例的业务团队的增加,当某个团队的任务更加重要并且不想执行查询时没有资源。 每个团队分配一个指定的资源组;重要任务分配到资源较多的资源组;保证子资源组的占比和小于等于100%时,可保证某一个队列的资源不被其他资源组抢占,类似于静态化分资源。 当实例资源负载很高时,两个用户同时提交一个查询。一开始,两个查询都在排队。当有空闲资源时,可以调度特定用户的查询首先获取到资源。 两个用户分配不同的资源组,重要的任务可以分配到权重高或优先级高的资源组,调度策略由schedulingPolicy配置,不同的调度策略,会有不同的资源分配顺序。 对于即席查询和批量查询,可以根据不同的SQL类型进行更合理的资源分配。 可以对不同的查询类型,比如EXPLAIN、INSERT、SELECT和DATA_DEFINITION等类型,匹配到不同的资源组,分配不同的资源来执行查询。
  • 使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场景。例如:不会花费资源重试由于无法解析SQL而失败的查询任务。 不同数据源对SQL语句的容错支持能力存在差异: 所有数据源都支持读操作的容错执行。 Hive数据源支持写操作的容错执行。 容错能力非常适合大批量查询,如果用户在容错集群上同时运行大量短时间小查询,则可能会遇到延迟。因此,建议处理批处理操作时使用专用的容错计算实例,与进行交互式查询的更高查询量的计算实例分开。
  • HetuEngine查询容错执行能力介绍 当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制,即容错执行能力。集群可通过自动重新运行受影响的查询或其组件任务来降低查询失败概率。可降低人工干预并提高了容错性,但会延长总执行时间。 当前支持如下两种容错执行机制: QUERY级重试策略:开启QUERY级别容错不会进行中间数据落盘,如果查询任务失败,将自动重试该查询任务的所有task。当集群的大部分工作由小查询组成时建议使用此策略。 TASK级重试策略:开启TASK级别容错会默认配置HDFS作为交换区,将exchange中间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。
  • 政府数据融合共治 由于数据安全以及隐私保护问题,政府各委办局数据尚未充分共享。多委办厅局数据的融合碰撞对于政府业务共治起到关键作用,例如本次疫情联防联控、综合治税等业务场景。共治场景均要实现在保护数据隐私的前提下,通过多个委办局数据的融合分析,得到数据碰撞结果,提升政府业务的治理效能。 优势: 政府多委办局之间密文数据融合计算,实现多方数据的融合分析。 基于隐私集合求交实现多方安全SQL JOIN分析, 原始数据保存在各个用户本地,统计分析算子下推到本地数据域执行。 多方分析JOIN算子进行数据隐私保护,计算过程将多方加密后数据完成计算,计算结果加密返回给数据使用方。 支持自定义脱敏保护策略,设定SQL语句安全等级检查,防止非法SQL执行。 图1-1 政府数据融合共治
  • 金融联合营销 传统金融企业联合营销模式中,金融企业往往需要将双方的数据集中到一个安全实验室中进行标签融合,模型训练,但常面临数据泄露和隐私等挑战。联邦建模采用分布式架构进行部署和建模,参与联合营销的企业原始和明细数据不出库的前提下进行跨域数据建模,实现精准营销,同时保障企业数据安全与个人隐私。 优势: 原始数据不出企业安全域、不出库,实现“数据不动、算法动”,数据使用自主可控。 联合多方正样本的效果,丰富模型的特征,提高模型的泛化能力。 计算全程保障企业数据安全与个人隐私。 图2 金融联合营销
  • 政企信用联合风控 金融机构对于中小微企业的信用数据通常不足,央行征信数据覆盖率有限,不良企业多家骗贷事件屡有发生。金融机构与政府部门,如税务部门、市场监管部门、水电公司等在保护各方原始数据隐私的前提下,通过多方联合建模,金融机构补充了风控模型特征维度,提升模型准确率。 优势: 提升模型准确率 多方机构实现算法层面联合建模,提升了需求方模型的预测效果。 数据隐私保护强 多方采用隐私集合求交PSI对齐样本数据,本地数据或模型加密后在安全环境中运算,实现数据可用不可得。精细化的数据隐私保护策略,确保分析结果中强制执行隐私数据的脱敏。 图1 政企信用联合风控
  • TICS CommonOperations策略内容 { "Version": "1.1", "Statement": [ { "Action": [ "tics:*:get*", "tics:*:list*", "tics:league:*", "tics:job:*", "tics:agg:*", "tics:agent:*" ], "Effect": "Allow" }, { "Action": [ "cce:cluster:list", "cce:node:list", "ecs:cloudServers:list", "mrs:cluster:list", "modelarts:trainJob:create", "modelarts:trainJobVersion:list" ], "Effect": "Allow" } ] }
  • TICS ReadOnlyAccess策略内容 { "Version": "1.1", "Statement": [ { "Action": [ "tics:*:get*", "tics:*:list*" ], "Effect": "Allow" } ] }
  • TICS权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 TICS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(如cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问TICS时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 TICS未提供基于IAM角色的权限控制功能。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对TICS服务,管理员能够控制IAM用户仅查看TICS服务,无法进行相关操作。 如表1所示,包括了TICS的所有系统权限。 表1 TICS系统策略 策略名称 描述 策略类别 TICS FullAccess TICS管理员权限,拥有该权限的用户可以拥有TICS服务空间侧的所有权限。 细粒度策略 TICS CommonOperations TICS服务普通用户权限,拥有该权限的用户可以拥有TICS服务空间侧的使用权限,无新增、删除资源权限。 细粒度策略 TICS ReadOnlyAccess TICS服务只读权限,拥有该权限的用户仅能查看TICS服务空间侧的资源。 细粒度策略 计算节点是通过创建计算节点时的“计算节点登录名称”和“登录密码”登录的,不与用户账号关联,因此计算节点内的操作不受此策略控制。
  • TICS FullAccess策略内容 { "Version": "1.1", "Statement": [ { "Action": [ "tics:*:*" ], "Effect": "Allow" }, { "Action": [ "cce:cluster:list", "cce:node:list", "ecs:cloudServers:list", "mrs:cluster:list", "modelarts:trainJob:create", "modelarts:trainJobVersion:list" ], "Effect": "Allow" } ] }
  • 产品架构 产品架构如图1所示。 图1 产品架构 空间管理 邀请云租户作为数据提供方,动态构建 可信计算 空间,实现空间内严格可控的数据使用和监管。 数据融合分析 支持对接多个数据参与方的主流数据存储系统,为数据消费者实现多方数据的SQL Join等融合分析,各方的敏感数据在具有安全支撑的聚合计算节点中实现安全统计。 计算节点 数据参与方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(敏感,非敏感,脱敏)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 可信联邦学习 对接主流深度学习框架实现横向和纵向的联邦训练,支持基于安全密码学(如不经意传输、差分隐私等)的多方样本对齐和训练模型的保护。 数据使用监管 为数据参与方提供可视化的数据使用流图,提供插件化的 区块链 对接存储,实现使用过程的可审计、可追溯。 容器化部署 容器化的多方数据源计算节点、聚合计算节点的部署管理,支持云上、边缘、HCS多种部署模式。
  • 安全的作业管理 作业时,数据使用的过程可审计、可追溯。TICS数据集成支持多方安全计算、可信联邦学习和联邦预测作业等作业方式。 多方安全计算 多方安全计算是 可信智能计算 提供的关系型数据安全共享和分析功能,曾经被称为联邦数据分析。您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关sql作业并获取您所需要的分析结果,同时能够在作业运行保护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。 可信联邦学习 可信联邦学习是 可信智能计算服务 提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模,曾经被称为联邦机器学习。 联邦预测作业 联邦预测作业在保障用户数据安全的前提下,利用多方数据和模型实现样本联合预测。