华为云用户手册

  • 主页管理 资产提供方可以管理主页,主页配置时,需要选择在主页上展示的资产,因此资产提供方需要先发布资产。 登录ROMA Exchange系统后,先将鼠标放在页面右上角的个人账号处,然后单击“个人中心”。 选择“主页管理”。 参考下表配置基本信息。 序号 字段 说明 1 设置背景 单击”设置背景”,上传背景信息图片,注意满足界面提示要求。 2 修改logo 单击”修改logo”上传公司的 LOG O。注意要满足界面提示要求。 3 主页名称 填写主页的名称。 4 企业概况 介绍企业的情况,比如主要业务和主要成就等。单击或可进行上下组件的切换,单击可以删除该组件。 配置完后,可以预览页面,也可以单击“提交申请”。当主页配置审批通过后,用户能在前台查看。 父主题: 资产提供方操作指导
  • 订阅页配置 咨询类资产无订阅页配置。 在“订阅页配置”里,单击右上角的“全屏模式”,能在全屏下编辑配置,编辑完后单击右上角的“退出全屏”。订阅页配置完后,可以单击右上角“另存为模板”,后续可以单击“我的模板”,直接使用。 根据需要,选中属性列表里的属性后,单击箭头调整属性的顺序。 单击属性后,在“属性信息”框里,配置“属性信息”、“组件定义”、“响应事件”和“触发事件”。 如果还需要额外增加属性,可以单击“配置属性”,在弹出的窗口里单击“新增属性”。 新增属性后,在“配置属性”里选中新增的属性,单击确定,当不需要在订阅页展示时,可以删除。 新增的字段不能带有后台业务逻辑,只能是界面上静态显示。 参考下图,配置新增的属性在“基本信息”里展现,配置后单击“保存”,可以在右侧看到该属性。
  • 基本信息配置 填写 API服务 资产的基本信息配置字段。 图2 基本信息配置 图3 选择API(单击“对象”后的“点击选择”) 图4 策略和联系人信息 表1 基本信息配置说明 序号 字段 说明 1 名称 资产的名称。 2 目录 资产的目录是为了方便商品订阅者在前台可以按目录查找到该资产。 资产发布者上架资产时可以初步指定资产所属的目录。 资产上架流程走到运营管理员处审批时,运营管理员可以更改资产的目录,系统以运营管理员更改后的资产目录为准。 系统有哪些目录,由运营管理员在后台配置。 3 标签 资产的标签是为了方便资产订阅者在前台可以按标签过滤查找到该资产。 系统有哪些标签,由运营管理员在后台配置。 4 展示图 用户在资产目录下查看资产时,显示的资产缩略图即是这里配置的。请按界面上提示的要求上传相应图片。 5 关联组织 配置与该资产关联的组织。 系统有哪些组织,由运营管理员在后台配置。 6 关联应用 配置与该资产关联的应用。 系统有哪些应用,由运营管理员在后台配置。 7 来源 资产来源从下拉框里选择。 8 对象 单击“点击选择”,在“请选择API”窗口里选择API接口。 实例:选择资产所属的实例。 集成应用:选择资产所属的集成应用。 API:选取要发布的API,支持选择多个API。 注意: 需要参考授权信息管理提前做好ROMA Connect授权类资产来源配置。如果没做好配置,则参考授权信息管理在此处弹出的授权窗口里配置。 9 文档 文档是对资产的详细介绍以及使用说明等,资产发布者可以在发布资产时同步上传文档,也可以不上传,等资产发布后再单独上传文档。单独上传文档,需要走文档发布审批流程。 资产发布者勾选“是否添加文档”复选框,勾选表示要添加,单击可以发布多个文档。 文档标题:文档的标题。 关键词:方便文档检索用,可设置多个。 文档类型:直接在下拉框里选择。 文档描述:文档的简介。 文档附件:单击“点击上传”后上传。 10 安全扫描报告 用户单击“安全扫描报告”后的“点击上传”,选择资产的安全扫描报告上传。 11 策略信息 用于配置资产订阅的相关策略。 订购审核:订购该资产是否需要审批。勾选“开启”,则订购该资产默认需要管理员和资产提供方审核。 订阅次数:指同一个用户成功订阅该资产的总次数。如果运营管理员针对该类型资产配置订阅次数为一次,则资产提供方在这里只能用默认的一次;如果运营管理员针对该类型资产配置订阅次数为不限,则资产提供方可以在这里选择一次或不限。 支持退订:指订阅方者订阅该资产后,是否支持退订操作。 退订审核:开启支持退订后,订阅者进行资产退订时,是否需要进行审核,开启退订审核表示需要管理员和提供方进行审批。 退订策略:可选择“随时可退订“,或者N天内可退订,可退时间为X天。 退款退订策略:可选择“退全款“、“按使用时间退款“或N天内退全款,N天后按照已使用时间比例退款,退全款时间为X天“。 12 联系人信息 运营管理员审批资产上架时,如果有疑问可联系的人员。其中姓名和联系信息会显示在已经上架的商品详情页的banner里。 企业名称:直接关联资产提供方认证时填写的企业名称。 姓名:联系人的姓名。 联系方式:资产发布者可根据需要勾选“手机”或“邮箱”。 单击“下一步”,进入“介绍页配置”。
  • 注册登录 用户注册和登录的方式取决于用户系统的配置,默认是本地注册和登录。 系统支持在安装配置阶段配置未认证用户是否可以查看账号管理之外的菜单。 系统支持在安装配置时配置免认证模式,默认是需要认证,如果配置为不需要认证,则用户不需要认证为企业用户即可发布资产,不需要认证即可订阅资产。本文档以需要认证为例来写。 系统有不同的风格,取决于安装配置时的配置。本文档以其中一种风格进行写作,另外一种仅是风格上的不同,不影响用户理解。 未注册用户只是游客,可以浏览ROMA Exchange网站。 注册后用户是普通用户。 ROMA Exchange支持多种注册和登录方式。 在使用ROMA Exchange前,请先 注册华为账号 并开通华为云并进行实名认证。登录时,请单击“用户登录”窗口的“其他方式”进行登录。 用户也可以在ROMA Exchange上直接注册,注册请直接参考界面提示操作。 父主题: 资产提供方操作指导
  • 总体说明 系统支持在安装配置阶段配置未认证用户是否可以查看账号管理之外的菜单。 系统支持在安装配置时配置免认证模式,默认是需要认证,如果配置为不需要认证,则用户不需要认证为企业用户即可发布资产,不需要认证即可订阅资产。本文档以需要认证为例来写。 系统有不同的风格,取决于安装配置时的配置。本文档以其中一种风格进行写作,另外一种仅是风格上的不同,不影响用户理解。 系统支持资产提供方发布资产,也支持提供方以订阅者的身份去订阅资产,当资产提供方以订阅者身份执行相关操作,请参考订阅者相关操作指导。 父主题: 资产提供方操作指导
  • 通用文件系统限制 表2 通用文件系统限制 限制项 说明 访问方式 仅限内网访问,不支持公网访问。 协议限制 仅支持NFS协议(不支持NFSv4,仅支持NFSv3)。 单文件系统最大挂载客户端数量 10,000 文件系统加密 不支持 单文件系统下文件或子目录数 无上限 单目录下最大文件或子目录数 10亿 文件系统名称限制 需全局唯一,不能与已有的通用文件系统名称重复,包括其他用户创建的通用文件。文件系统创建成功后,不支持修改名称。 删除文件系统限制 删除通用文件系统后,需要等待30分钟才能创建同名通用文件系统。 挂载的操作系统限制 不支持挂载至32位的Linux系统云服务器。 不支持挂载至Windows系统的云服务器。 修改文件系统内根目录权限 不支持 CCE/CCI容器场景下使用限制 使用通用文件系统作为后端存储时,对于pvc/pv关联的非空文件系统,不支持直接删除pvc/pv。需要清空文件系统内容才能删除pvc/pv。在未清理文件系统的情况下直接删除pvc/pv,请到通用文件系统侧查看文件系统是否已删除。 使用通用文件系统作为后端存储时,删除pvc/pv过程存在时延,删除过程会进行计费,请以通用文件系统侧删除时间为准。 生命周期管理策略限制 单个文件系统下最多可配置20条生命周期管理规则。 文件语义锁Flock 不支持 标签限制 单个文件系统最多允许添加20个标签。 当一个文件系统添加了多个标签,标签键不允许重复。
  • SFS Turbo文件系统限制 表3 SFS Turbo文件系统限制 限制项 标准型、标准型-增强版、性能型、性能型-增强版 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB HPC缓存型 支持访问方式 VPN/专线/云连接 VPN/专线/云连接 VPN/专线/云连接 最大带宽 标准型:150MB/s 标准型-增强版:1GB/s 性能型:350MB/s 性能型-增强版:2GB/s 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 20MB/s/TiB、40MB/s/TiB:8GB/s(如需提高吞吐能力,请提交工单申请,最高可达20 GBps) 125MB/s/TiB、250MB/s/TiB:20GB/s(如需提高吞吐能力,请提交工单申请,最高可达100 GBps) 500MB/s/TiB、1000MB/s/TiB:80GB/s(如需提高吞吐能力,请提交工单申请,最高可达200 GBps) 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 48GB/s 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 最大IOPS 标准型:5K 标准型-增强版:15K 性能型:20K 性能型-增强版:100K 20MB/s/TiB、40MB/s/TiB:25万 125MB/s/TiB、250MB/s/TiB:100万 500MB/s/TiB、1000MB/s/TiB:400万(如需提高IOPS,请提交工单申请,最高可达1000万) 2000K 最低时延 1~2ms 1~2ms 亚毫秒 单文件系统最大容量 320TB 1PB 1PB 支持协议 仅支持NFSv3 仅支持NFSv3 仅支持NFSv3 单文件系统最大挂载客户端数量 500 3000 3000 单文件系统可添加VPC数量 20 20 20 单文件大小 最大16TB 最大320TB 最大320TB 单文件系统最大文件或子目录数 10亿 说明: 单文件系统下文件或子目录数=总容量(KB)/16,上限为10亿,即得出数量大于10亿时,数量按10亿算。 20亿 说明: 单文件系统下文件或子目录数=总容量(GB) * 25000,上限为20亿,即得出数量大于20亿时,数量按20亿算。 20亿 说明: 单文件系统下文件或子目录数=总容量(GB) * 25000,上限为20亿,即得出数量大于20亿时,数量按20亿算。 单目录下最大文件或子目录数 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 目录最大深度(单位:层) 100 100 100 最大路径长度(单位:Byte) 1024 4096 4096 最大软链接长度(单位:Byte) 1024 1024 1024 最大硬链接长度(单位:Byte) 255 255 255 文件系统数量配额 默认32个,可提交工单申请扩大配额 默认32个,可提交工单申请扩大配额 默认32个,可提交工单申请扩大配额 备份 支持 支持 不支持 备份原地恢复 不支持 说明: SFS Turbo为单AZ部署,目前还不具备AZ级以上故障恢复能力。 不支持 不支持 文件语义锁Flock 不支持 不支持 不支持 跨区域 域名 挂载 不支持 说明: 使用域名(DNS)挂载文件系统时,不支持跨区域(Region)挂载。如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 标签限制 单个文件系统最多允许添加10个标签。 当一个文件系统添加了多个标签,标签键不允许重复。
  • SFS容量型文件系统限制 表1 SFS容量型文件系统限制 限制项 说明 访问方式 仅限内网访问,不支持公网访问;只能在云上使用,不支持云下使用。 协议限制 支持NFS协议(不支持NFSv4,仅支持NFSv3)和CIFS协议(不支持SMB1.0版本,支持SMB2.0/2.1/3.0版本)。 NFSv3协议下默认的导出选项是rw,no_root_squash,no_all_squash,sync。CIFS协议下默认的导出选项是rw,sync。 CIFS的加密文件系统不支持copychunk复制。 CIFS类型的文件系统不支持使用Linux操作系统的云服务器进行挂载。 同一文件系统不能同时支持NFS协议和CIFS协议。 SMB文件系统只对文件系统级别、而不对文件/目录级别提供权限控制。 单文件系统最大挂载客户端数量 10,000 单文件系统最大容量 4PB 单文件大小 240TB VPC限制 支持多VPC,一个文件系统最多可以添加20个可用的VPC,对于添加的VPC所创建的ACL规则总和不能超过400个。 企业项目限制 不能超过20个,否则可能导致创建SFS容量型文件系统失败。建议使用SFS Turbo文件系统或通用文件系统。 复制功能 不支持 跨区域挂载 不支持 SFS容量型文件系统已售罄,您还可以选择通用文件系统或者SFS Turbo。
  • 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800] [INFO] No job-level agency is set, Workspace-level agency is dlg_agency, Execute job use agency dlg_agency, job id is 07572F197E4642E5BE549C2B656F157Ctm7cHkHd [2021/11/17 02:00:36 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:00:36 GMT+0800] [INFO] Get response from agent when try to submit shell running job : [2021/11/17 02:00:36 GMT+0800] [INFO] { "jobResultList":[ { "jobId":"a567f7f5-3c9e-4dfc-a464-bd477ac5b1ea", "status":"created", "errorCode":0, "failCount":0, "result":[ ] } ], "agentId":"614853ee-c1c6-456d-9aa6-fc84ad1281ed" } [2021/11/17 02:00:36 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [INFO] Job Run finish , the raw output is : [2021/11/17 02:05:56 GMT+0800] [INFO] { "jobId":"a567f7f5-3c9e-4dfc-a464-bd477ac5b1ea", "status":"failed", "errorCode":3427, "errorMessage":"Shell script job execute failed.", "failCount":0, "result":[ { "is_success":false, "exeTime":300.609 } ] } [2021/11/17 02:05:56 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [INFO] The return code is : [-1]. [2021/11/17 02:05:56 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [INFO] Execute shell script job finished. [2021/11/17 02:05:56 GMT+0800] [ERROR] Shell exit code is not 0 [2021/11/17 02:05:56 GMT+0800] [DEBUG] =============================================== [2021/11/17 02:05:56 GMT+0800] [ERROR] Shell script job execute failed. Please contact E CS Service. [2021/11/17 02:05:56 GMT+0800] [ERROR] Exception message: RuntimeException: Shell script job execute failed. Please contact ECS Service. [2021/11/17 02:05:56 GMT+0800] [ERROR] Root Cause message:RuntimeException: Shell script job execute failed. Please contact ECS Service. 确认其ECS的sshd_config参数如下。 原因分析:由于ssh session超时断开了,因此Shell节点失败。
  • 解决办法 编辑ECS的/etc/ssh/sshd_config文件,添加或者更新如下两个值。 ClientAliveInterval 300 ClientAliveCountMax 3 ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔,默认是0,不发送请求。然而ClientAliveInterval 300表示五分钟发送一次,然后客户端响应,这样就保持长连接了。ClientAliveCountMax的默认值3。ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值,就自动断开,正常情况下,客户端会正常响应。 修改后,重启ECS的sshd,执行如下命令: restart sshd.service 检查sshd是否启动成功(下图为成功):
  • 解决方案 关系建模或维度建模修改字段更新表后,但实际上数据库中物理表并无变化,这是因为未对数据表更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下: 在 DataArts Studio 控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”。 单击“功能配置”页签。 配置“数据表更新方式”选择为“依据DDL更新模板”或“重建数据表”。 不更新:不更新数据库中的表。 依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如, DLI 类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法,之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新,那只有通过重建这种方式更新。 重建数据表:先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 单击“确定”,完成配置。
  • 解决方法 使用管理员用户登录 IAM 控制台。 在 统一身份认证 服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权 单击“下一步”,选择最小授权范围,系统默认“所有资源”。 单击“确定”。 如果权限没有问题,请检查OBS日志文件是否存在。
  • 运行作业后查看日志时系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”的处理方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dlf-log-{projectId}桶中,DataArts Studio数据服务默认会把日志写到dlm-log-{projectId}桶中。 如果“作业日志OBS路径”没有选择已有的OBS桶,首次运行作业时,默认的DLF桶创建不出来,无法写入日志。为了确保作业日志正常写入OBS桶中,当创建工作空间时,请选择已有的OBS路径。
  • 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式:在python安装目录的Lib\site-packages文件夹下新建一个sitecustomize.py文件,在文件中写入如下内容。 # encoding=utf8 #import sys #reload(sys) #sys.setdefaultencoding('utf8') 重启python,通过sys.getdefaultencoding()查看默认编码,这时为'utf8'。
  • 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL statement. Cause: ERROR: invalid input syntax for integer: "true" Where: COPY sd_mask_ext, line 1, column mask_type.
  • 如何调整抽取并发数 集群最大抽取并发数的设置与 CDM 集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 图2 作业抽取并发数配置
  • CDM可以跨账户使用吗? CDM不支持跨账户使用,可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下: 创建用户组并授权 在IAM控制台创建用户组,并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“ 云数据迁移 服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM ReadOnlyAccess”已生效。 父主题: 数据集成(CDM作业)
  • 数据服务专享版的API如何通过公网访问? 对于默认发布在数据服务专享版集群的API,当数据服务专享版集群支持公网访问后,API即可通过公网调用。 而数据服务专享版集群如果要支持公网访问,仅在创建数据服务专享版集群时,勾选开启“公网入口”才能进行公网访问。因此,对于已创建的未开启公网入口的数据服务专享版集群,不支持再绑定弹性公网IP,即无法再直接通过公网访问。 在这种情况下,您可以导出当前集群的API,然后重新新建一个开启“公网入口”的数据服务专享版集群,再将旧集群的API导入到新集群上,即可开启公网访问。 另外,如果您已有开启公网入口的APIG专享版或ROMA Connect实例,也可以选择将API发布到APIG专享版或ROMA Connect实例上,通过APIG专享版或ROMA Connect实例提供公网访问通道。 父主题: 数据服务
  • 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别 云数据迁移CDM 大数据迁移上云 多种数据源到 数据湖 的迁移 与DRS的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。 对象存储迁移 服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别: OMS用于他云到华为云的数据迁移;CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。 数据复制服务 DRS 支持主流数据库到华为云的入云和出云迁移 数据库在线迁移 数据库实时同步 与CDM的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。 与UGO的区别: DRS支持同构和异构的数据库迁移/同步;UGO用于异构数据库的结构迁移、数据库迁移前评估、语法迁移等。 主机迁移服务 SMS 主机迁移 含物理机到华为云、其他自建或他云虚拟机到华为云 - 数据库和应用迁移 UGO 数据库结构迁移 数据库迁移前评估 语法迁移 与DRS的区别: DRS支持同构和异构的数据库迁移/同步;UGO用于异构数据库的结构迁移、数据库迁移前评估、语法迁移等。 数据快递服务 DES 海量数据,支持TB级到PB级数据上云 使用物理介质 -
  • 什么是对象存储迁移服务(OMS)? 对象存储迁移服务(Object Storage Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商 对象存储服务 中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。 OMS主要功能有以下两个: 线上数据迁移服务:帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。 跨区域的复制:指的是华为云各个Region之间的数据复制和备份。 目前支持以下他云对象存储数据的入云迁移:亚马逊云、阿里云、微软云、百度云、华为云、金山云、青云、七牛云、腾讯云。 云数据迁移CDM服务也同样支持对象存储数据迁移,两者的区别为: OMS用于他云到华为云的数据迁移。 CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。
  • 什么是数据库和应用迁移(UGO)? 数据库和应用迁移 UGO(Database and Application Migration UGO,简称UGO)是专注于异构数据库结构迁移的专业服务。可将数据库中的DDL、业务程序中封装的数据库SQL一键自动将语法转换为华为云 GaussDB /RDS的SQL语法,通过预迁移评估、结构迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。更多详情请参见数据库和应用迁移。 简言之,UGO用于异构数据库迁移前的数据库评估、结构迁移、语法转化。
  • 什么是云数据迁移服务(CDM)? 云数据迁移(Cloud Data Migration,简称CDM)是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和 智能数据湖 解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时,目标端为数据湖或其他大数据系统;源端可以是数据库也可以是对象存储。 CDM与DRS的区别: 目的端是大数据系统时,推荐使用CDM。 目的端是OLTP数据库或DWS时,推荐使用DRS迁移。 CDM与OMS的区别: OMS用于入云迁移,支持以下源端云服务商:亚马逊云、阿里云、微软云、百度云、青云、七牛云、腾讯云。 CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。同时,整桶迁移建议使用OMS。
  • 什么是主机迁移服务(SMS)? 主机迁移服务(Server Migration Service,简称SMS)是一种P2V/V2V迁移服务,可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。
  • 解决方案 新建 MRS Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_administrator或System_administrator权限,才能在CDM创建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
  • 如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU Administrator、Tenant Guest或Tenant Administrator角色,则工作空间隔离失效,该用户可查看所有工作空间。 父主题: 咨询与计费
  • 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色,则会出现无权限的报错。
  • 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。 创建用户组并授权的具体操作,请参见创建用户组并授权。 配置用户组的DataArts Studio权限时,直接在搜索框中输入权限名“DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。IAM用户授权完成后,访问DataArts Studio时,需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作,请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 为“DAYU User”系统角色用户自定义工作空间角色,并将其添加到工作空间成员、配置角色。 对于“DAYU User”权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见(可选)自定义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择 数据治理中心 ,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块(例如管理中心),查看能否根据所配置的工作空间角色,正常进行业务操作。
  • 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包之前已经产生的费用以按需计费结算,购买套餐包之后的费用按套餐包计时。 父主题: 数据集成(CDM作业)
  • 数据服务专享版API解冻 在DataArts Studio“空间管理”页签中,单击工作空间操作列“编辑”链接。 图3 编辑空间管理 在“空间信息”中,单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项,当前操作正在增加API配额,这会使工作空间下可以创建更多的API,同时可能使收费增加,请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使用配额,不能大于总配额-总分配配额+已分配配额。 选择需要解冻的API,单击操作列“解冻”完成API的解冻。 图6 解冻API 创建专享版API需要收费(10个以内不收费,超过10个的API的个数1个API收费1元/1天)。
  • CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 数据集成(CDM作业)
共100000条