检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问操作均由CDM主动发起,对于数据源(如RDS数据源)支持SSL时,会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码,这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图2 CDM迁移原理 父主题: 数据集成(CDM作业)
DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts Studio实例的
是 通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio基础包,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。
于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 使用集群配置为是时,是必选项。 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如
在审核的详情页面,确认信息无误后,单击“通过”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 如果信息有误,请单击“驳回”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 图2 审核信息 查看已审核、待审核、我的申请 待我审核 在DataArts Studio数
选择“数据权限 > 数据表权限”,在“我的权限”页签中,支持如下操作: 操作 > 查看,查看用户已申请的权限详情。 操作 > 编辑,可修改用户已申请的数据表权限。 操作 > 交还,可交还用户已申请的数据表权限。 图2 管理表权限 审计用户权限 管理员可在“用户权限”页面查看同一工作空
在Manager页面选择“系统 > 权限 > 安全策略 > 密码策略”,单击“新增密码策略”,添加一个永不过期的密码策略。 “密码策略名”可配置为“neverexp”。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在Manager页面选择“系统
Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 连接属性 否 选择连接属性。 socketTimeout:配置JDBC连接超时时间,单位为毫秒
编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 删除 在参数值文本框后方,单击,删除作业常量。 工作空间环境变量 查看工作空间已配置的变量和常量。 单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。
连接源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链
对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式,则此排序参数按照修改后的排序方式排序。 pre_order_by的值,不支持进行如下修改,否则会修改不生效或导致调用报错。 删掉某必选的排
编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 删除 在参数值文本框后方,单击,删除作业常量。 工作空间环境变量 查看工作空间已配置的变量和常量。 单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。
不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。
用户所属的企业账户名称。 Account Name 用户名 使用云服务的用户名,该用户需要拥有CDM的操作权限。 Username 密码 用户密码。 password VPC信息 VPC的ID CDM所属的VPC必须与DWS一致。 6b47302a-bf79-4b20-bf7a-80987408e196
"ecs:servers:get", "ecs:servers:list", "ecs:servers:stop", "ecs:servers:start", "ecs:flavors:get"
数据对账作业的存储目录,可选择已创建的目录。目录创建请参见(可选)新建目录。 作业级别 支持提示,一般,严重和致命四种级别,作业级别决定发出通知消息的模板样式。 超时时间 输入超时时间。输入值必须在5到1440之间。单位为分钟。该参数为空或者默认1440分钟时,超时时间系统默认为24小时,支持修改。 单
nger管理员账号,安全集群需要使用rangeradmin作为Ranger管理员账号,rangeradmin默认密码请参考用户账号一览表章节。 图6 登出当前账号 修改新建用户的Ranger角色为Admin。在“Settings -> Users/Groups/Roles -> Users”下找到新建的用户名。
进入后,在页面选择所需要批量修改主题的项,单击“更多 > 修改主题”,可以将选中的项更改到其它主题。配置完成单击“确定”。 图1 批量修改主题 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 在DataArts Studio数据架构控制台,单击左侧导航栏中的码表管理或数据标准。
parameters 是 String Spark Jar包自定义参数。 对于开发的自定义Jar包,可以在此处对参数进行输入替换。 input 否 String 输入路径。 MRS Spark作业输入数据路径,可以为HDFS或者是OBS路径。 output 否 String 输出路径。 MRS Sp