云服务器内容精选

  • 资源准备 若有实际的数据需要进行探源、迁移入湖等,则需要把相关数据准备好。本最佳实践准备的相关资源如下: 表2 资源准备 准备项 资源内容 说明 源端系统连接信息 MySQL数据库 门店基本信息表: store_mgmt.t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt 订单DB:order_mgmt 本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动获取客户源端系统的数据结构,可使用解决方案工作台的探源工具进行数据探源,因此需要准备好可运行该探源工具的服务器。要求:Linux操作系统且该服务器与要探源的源端系统网络互通即可。 云服务资源准备 MRS 普通集群 CDM 集群 DataArts Studio 初级版及以上 按照需求准备好需要用到的云服务资源,如本实践使用CDM进行数据迁移入湖至MRS,并使用DataArts Studio进行 数据治理 ,则需要开通相应资源。 其他 DWS、 DLV 等资源 由于本最佳实践主要演示在解决方案工作台上对该项目进行管理以及实施交付,不涉及DWS、DLV的操作,因此实际应用中按需求开通即可,本文档中不展开。
  • 账号说明 解决方案工作台可使用华为云账号进行登录使用,在使用解决方案工作台前请确保您已有华为云账号,如果没有需要先 注册华为账号 并开通华为云。实际项目中涉及的人员和角色较多,为方便展示,本最佳实践使用以下账号进行操作: 表1 账号说明 账号 角色 说明 账号名:某华为云主账号 用户名:解决方案工作台Trial_PM 管理员,项目经理 负责项目的整体运作与管理。 账号名:某华为云主账号 用户名:解决方案工作台Trial_SA 架构师 根据客户需求制定整体解决方案。 账号名:某华为云主账号 用户名:解决方案工作台Trial_TE 测试工程师,开发工程师 对项目进行验收、实施开发。 账号名:某华为云主账号 用户名:解决方案工作台Trial_TD 技术负责人 项目技术负责人。
  • 创建交付空间 解决方案工作台通过工作空间实现不同用户的信息和资源隔离,只有加入了工作空间的用户才可以看到该工作空间以及空间内的资源,并且可以通过设置用户在空间内的角色来控制用户的操作权限。 项目经理“解决方案工作台Trial_PM”进入解决方案工作台控制台-工作空间页面,点击【新建】按钮,创建交付空间。 空间名称:自定义空间名称,样例参考:数据使能交付项目演示。 空间类型:选择“交付空间”。标准空间和运维空间分别适用于解决方案构建&验证、运维事件管理场景。 空间描述:自定义空间相关描述介绍。 图6 交付空间创建
  • 解决方案 针对需求1:当前华为云提供的企业项目管理服务(EPS)和 统一身份认证 服务( IAM ),均可实现项目之间的资源隔离,但两种服务的实现逻辑及功能不同。 企业项目管理服务:在企业项目管理服务中创建企业项目,企业项目之间的资源是逻辑隔离,针对企业不同项目间的资源进行分组和管理,一个企业项目中可以包含多个区域的资源。企业项目内的资源可以动态的迁入和迁出。 统一身份认证服务:在统一身份认证服务中创建IAM项目可以实现资源之间的物理隔离,针对同一个区域内的资源进行分组和隔离,一个IAM项目中只能包含一个区域中的资源。 综上,企业项目管理服务能够实现项目间跨区域的资源隔离,隔离逻辑更加灵活,因此,推荐A公司使用企业项目管理服务进行项目资源管理,以下需求将基于企业项目管理服务提出解决方案。如需了解更多IAM项目和企业项目的区别,请参见:IAM项目和企业项目的区别。 针对需求2:A公司需要配合使用企业项目管理服务和统一身份认证服务,在统一身份认证服务中创建用户组、为每个员工创建IAM用户并加入用户组,再将用户组添加至需求1创建的企业项目,并按照表1为各企业项目中的用户组授予相应的资源使用权限。 图1 A公司人员配置模型 表1 A公司各用户组权限配置模型 用户组 职责 所需权限 描述 财务组 负责管理项目费用的使用情况。 Enterprise Project BSS FullAccess 企业项目费用的管理权限。 开发组 负责使用资源进行项目开发。 E CS FullAccess 弹性云服务器(ECS)的所有执行权限。 OBS FullAccess 对象存储服务 (OBS)的所有执行权限。 ELB FullAccess 弹性负载均衡(ELB)的所有执行权限。 安全维护组 负责项目的安全运维。 ECS CommonOperations 弹性云服务器(ECS)的普通操作权限。 CAD Administrator DDoS高防服务 (AAD)的所有执行权限。 运营组 负责所有项目的总体运营。 EPS FullAccess 企业项目管理服务的所有执行权限,包括修改、启用、停用、查看企业项目。 如需了解华为云所有云服务的系统权限,请参见:系统权限。
  • 企业需求 需求1:A公司需要同时在“华北-北京四”和“华东-上海一”多地域购买多种资源,A公司希望将资源按需分配给两个项目团队,某些服务可实现指定资源的分配,例如某一台ECS服务器只分配给指定IAM用户使用,且两个项目中的资源相互隔离。 需求2:每个项目团队的成员只能访问其所在项目团队的资源,且仅拥有能够完成工作的资源使用最小权限。 需求3:A公司希望两个项目团队能够独立核算成本,项目费用一目了然。
  • IAM和企业管理的区别 开通方式 IAM是华为云的身份管理服务,注册系统后,无需付费即可使用。 企业管理是华为云的资源管理服务,注册系统后,可以自助申请开通,开通方法请参见:如何开通企业管理。 资源隔离 IAM通过在区域中创建子项目,隔离同一个区域中的资源。以子项目为单位进行授权,用户可以访问指定子项目中的所有资源,详情请参见:项目。 企业管理通过创建企业项目,隔离企业不同项目之间的资源,企业项目中可以包含多个区域的资源。企业项目还可以实现对特定云资源的授权,例如:将一台特定的ECS添加至企业项目,对企业项目进行授权后,可以控制用户仅能管理这台特定的ECS。 支持的服务 使用IAM授权的云服务。 企业管理目前支持的服务请参见支持的云服务
  • 检查规则 用户在发起访问请求时,系统根据用户被授权的访问策略中的action进行鉴权判断。检查规则如下: 图1 请求鉴权逻辑图 用户发起访问请求。 系统在用户被授予的访问权限中,优先寻找基于IAM项目授权的权限,在权限中寻找请求对应的action。 如果找到匹配的Allow或者Deny的action,系统将返回对请求的鉴权决定,Allow或者Deny,鉴权结束。 如果在基于IAM项目的权限中没有找到请求对应的action,系统将继续寻找基于企业项目授权的权限,在权限中寻找请求对应的action。 如果找到匹配的Allow或者Deny的action,系统将返回对请求的鉴权决定,Allow或者Deny,鉴权结束。 如果用户不具备任何权限,系统将返回鉴权决定Deny,鉴权结束。
  • 集成项目概述 当一个企业需要第三方公司(即系统集成商)协助处理项目时,企业管理员可以通过集成项目管理功能创建项目,安全、有效地将自己的资源委托给系统集成商,让系统集成商快速完成项目。 企业将项目资源委托给系统集成商的流程如图1所示,阶段流程说明如表1所示。 图1 项目资源委托流程 表1 阶段流程说明 阶段 说明 角色 新建项目 企业需要将项目资源委托给系统集成商时,企业管理员需要新建项目,设置项目信息包含项目名称、服务商名称和华为云租户账号等。 企业管理员 授权项目 项目创建后,企业管理员需要对项目进行授权,授权后系统集成商才能实施项目。被授权的服务商将获得除IAM管理权限以外的其他云服务管理员权限。 企业管理员 实施项目 项目授权后,系统集成商可以进入到委托该项目的租户界面进行项目实施。 系统集成商 请求验收项目 项目实施完成后,系统集成商需要请求验收项目。 系统集成商 验收/驳回项目 对于系统集成商请求验收的项目,企业管理员进行项目结果的验收。 如果验收通过,则验收项目,项目完成。 如果验收不通过,则驳回项目。驳回后,被授权的服务商将失去此项目的权限。 企业管理员 父主题: 集成项目管理
  • 任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 任务队列相关操作 任务 操作步骤 置顶任务 单击操作栏中的“置顶”,即可将任务调整至队列中最高优先级。 置底任务 单击操作栏中的“置底”,即可将任务调整至队列中最低优先级。 上移任务 单击操作栏中的“上移”,即可将任务调整至队列中上一级。 下移任务 单击操作栏中的“下移”,即可将任务调整至队列中下一级。 更新任务优先级 勾选单个或多个批次任务。 单击“更新优先级”,输入[-50,50]的整数,数字越大,优先级越高。 单击“确定”,优先级更改成功。相同优先级的任务,任务队列更新时间越早,优先级越高。 搜索任务 在搜索输入框中输入搜索条件,按回车键即可查询。
  • 应用场景简介 SIS支持通过企业项目管理(EPS)对不同用户组和用户的资源使用,进行分账。企业可以根据组织架构规划不同的企业项目,并为每个企业项目设置拥有不同权限的用户组和用户,多个企业项目之间相互独立,资源分开结算。 企业账号可申请开通企业项目。账号需要进行企业实名认证。如果企业账号注册成为华为云合作伙伴,将无法进入企业项目管理页面。 开通企业项目后,企业项目内的用户在调用SIS API时,只有在请求Header参数中传入Enterprise-Project-Id(企业项目ID)后,才支持按不同企业项目进行财务统计。传参方式详见API文档。 图1 企业项目管理示意图 父主题: 企业项目管理
  • 命令示例 更新项目描述和标签信息。 health update project demo-project --description description --tags 'a;b;c'# 执行成功返回结果如下edit project successfully! 修改项目级数据权限策略。 health update project demo-project --policy 1111# 执行成功返回结果如下edit project successfully! 修改项目状态为ACTIVE。 health update project demo-project --status ACTIVE# 执行成功返回结果如下edit project successfully!
  • 响应 成功响应样例 { "success": true, "returnData": "P_20190919152838_1273129170"} 失败响应样例 {"success":false,"errorMsg":"internal error.","errorCode":"23469349.30000.500"} 要素说明 参数名 参数类型 备注 success String 请求是否成功,取值包括true和false。 returnData String 返回值。
  • 请求 请求样例 PUT https://ipaddr:port/softcomai/datalake/dataplan/v1.0/progress{"id" : "P_20190923142706_587260345","name" : "修改项目测试001","description" : "向导方式创建项目测试001","tasks" : [{"id" : "5816442513551637443","pId" : "0","paramList" : [{"paramName" : "key","paramValue" : "value","appendType" : "KEY_VALUE"}],"variables" : [{"showName" : "数据来源","showNameEn" : "dataSource","varName" : "dataSource","varValue" : "云核心网_性能KPI数据_ATS","remark" : "数据来源","defaultVisible" : "true"}, {"showName" : "BDI服务","showNameEn" : "BDI Service","varName" : "BDIAddress","varValue" : "10.0.1.145:19143","remark" : "BDI服务","defaultVisible" : "true"}, {"showName" : "id","showNameEn" : "id","varName" : "id","varValue" : "111","remark" : "11","defaultVisible" : "true"}],"children" : []}, {"id" : "4623460537000105320","pId" : "0","paramList" : [{"paramValue" : "-ipaddress #{ipaddress} -userId #{userId} -appId #{appId} -srcPath #{srcPath} -srcRootPath #{srcRootPath} -dstRootPath #{dstRootPath} -dstPath #{dstPath} -srcBucketName #{srcBucketName} -hadoopUserName #{hadoopUserName} -integrationAddr #{integrationAddr} -token ${getManageToken}","appendType" : "STRING"}],"variables" : [{"showName" : "srcBucketName","showNameEn" : "srcBucketName","varName" : "srcBucketName","varValue" : "obs-public-data","defaultVisible" : "false"}, {"showName" : "dstPath","showNameEn" : "dstPath","varName" : "dstPath","varValue" : "/HKT/raw_data","defaultVisible" : "false"}],"children" : []}, {"id" : "7614341251561440098","pId" : "0","paramList" : [{"paramValue" : "-ipaddress #{ipaddress} -userId #{userId} -appId #{appId} -srcPath #{srcPath} -srcRootPath #{srcRootPath} -dstRootPath #{dstRootPath} -dstPath #{dstPath} -srcBucketName #{srcBucketName} -hadoopUserName #{hadoopUserName} -token ${tokenbyappidTaskResp.result.token}","appendType" : "STRING"}],"variables" : [{"varName" : "ipaddress","varValue" : "100.95.145.153:9516","defaultVisible" : "true"}, {"varName" : "userId","varValue" : "q00298908","defaultVisible" : "true"}, {"varName" : "appId","varValue" : "aidomainalpha_wulan3_dcpuedev","defaultVisible" : "true"}],"children" : []}, {"id" : "9014897139558429566","pId" : "0","children" : []}, {"id" : "4807396074419218738","pId" : "0","children" : []}]} 参数说明 参数名 是否必选 参数类型 备注 id 是 String 项目ID。 name 是 String 项目名称。 description 是 String 描述。 tasks 是 JSON LIST 任务列表。 id 是 String 任务ID。 pId 是 String 父任务ID。 tasks 是 JSON LIST 子任务列表。 paramList 是 List 参数列表。 id 是 String 参数ID。 source 是 String 来源ID。 paramName 是 String 参数名称。 paramType 是 String 参数类型。 paramValue 是 String 参数值。 userId 是 String 所属用户ID。 tenantId 是 String 租户ID。 createTime 是 String 创建时间。 updateTime 是 String 修改时间。 variables 是 JSON 变量列表。 showName 是 String 变量显示中文名。 showNameEn 是 String 变量显示英文名。 varName 是 String 参数名称。 varValue 是 String 参数值。 remark 是 String 参数备注。 defaultVisible 是 String 是否基础变量。 userId 是 String 所属用户ID。 tenantId 是 String 租户ID。 taskId 是 String 所属任务。