已找到以下 167 条记录
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
产品选择
没有找到结果,请重新输入
  • OBS数据迁移到DLI服务 - 云数据迁移 CDM

    高级属性里可选参数保持默认。 目的连接名称:选择创建DLI连接中“dlilink”。 资源队列:选择目的表所属资源队列。 数据库名称:写入数据数据库名称。 表名:写入数据目的表。CDM暂不支持在DLI中自动创表,这里表需要先在DLI中创建好,且该表字段类型和格式

  • 创建CDM与数据源之间连接 - 云数据迁移 CDM

    在连接管理界面找到需要修改连接: 删除连接:单击操作列“删除”删除该连接,或者勾选连接后单击列表上方“删除连接”来批量删除未被任何作业使用连接。 编辑连接:单击该连接名称,或者单击操作列“编辑”进入修改连接界面,修改连接时需要重新输入数据源登录密码。 测试连通性:单击操作列“测试连通性”,直接测试已保存连接的连通性。

  • 权限及授权项说明 - 云数据迁移 CDM

    对权限最小化安全管控要求。 如果您要允许或是禁止某个接口操作权限,请使用策略。 账号具备所有接口调用权限,如果使用账号下IAM用户发起API请求时,该IAM用户必须具备调用该接口所需权限,否则,API请求将调用失败。每个接口所需要权限,与各个接口所对应授权项相对应,

  • OBS数据迁移到DLI服务 - 云数据迁移 CDM

    高级属性里可选参数保持默认。 目的连接名称:选择创建DLI连接中“dlilink”。 资源队列:选择目的表所属资源队列。 数据库名称:写入数据数据库名称。 表名:写入数据目的表。CDM暂不支持在DLI中自动创表,这里表需要先在DLI中创建好,且该表字段类型和格式

  • 创建连接 - 云数据迁移 CDM

    objects 输入参数列表,列表中每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同源连接类型有不同“inputs”参数列表,请参见源端作业参数说明下章节。在“to-config-val

  • 创建IAM用户并授权使用CDM - 云数据迁移 CDM

    根据企业用户职能,设置不同访问权限,以达到用户之间权限隔离。 将CDM资源委托给更专业、高效其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您要求,不需要创建独立IAM用户,您可以跳过本章节,不影响您使用CDM服务其它功能。

  • CDM作业配置管理 - 云数据迁移 CDM

    数据迁移作业提交运行后,CDM会根据作业配置中“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中“最大抽取并发数”参数,超出规格Task排队等待运行。

  • 审计与日志 - 云数据迁移 CDM

    计,用户可查看CTS保存最近7天审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关高危敏感操作,作为关键操作加入到CTS实时监控列表中进行监控跟踪。当用户使用CDM服务时,如果触发了监控列表中关键操作,那么CTS会在记录操作日志同时,向相关订阅者实时发送通知。

  • Hive连接参数说明 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • 上传CDM连接驱动 - 云数据迁移 CDM

    已参见FTP/SFTP连接参数说明创建SFTP连接并将对应驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型关系数据库,需要适配不同类型驱动。注意,上传驱动版本不必与待连接数据库版本相匹配,直接参考表1获取建议版本JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称

  • 配置Redis源端参数 - 云数据迁移 CDM

    配置Redis源端参数 第三方云Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出数据时,源端作业参数如表1所示。 表1 Redis作为源端时作业参数 参数类型 参数名 说明 取值样例

  • 云数据迁移安全结论 - 云数据迁移 CDM

    M实例隔离,提升CDM实例安全性。 数据加密 用户数据源访问信息(用户名和密码)存储在CDM实例数据库中,并采用AES-256加密,CDM管理员无法访问。 数据删除 用户删除CDM实例时,存储在实例中数据都会被删除,任何人都无法查看及恢复数据。

  • 应用示例 - 云数据迁移 CDM

    BYTES_WRITTEN:表示写入字节数。 BYTES_READ:表示读取字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入文件数。 FILES_READ:表示读取文件数。 ROWS_WRITTEN:表示写入成功行数。 ROWS_READ:表示读取成功行数。

  • 查询集群列表 - 云数据迁移 CDM

    REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点虚拟机ID。 name String 节点虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。

  • 分析数据 - 云数据迁移 CDM

    入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应SQL脚本进行贸易统计分析。

  • 资产识别与管理 - 云数据迁移 CDM

    资产识别与管理 云资源标识与管理可通过标签实现。 使用场景 通常您业务系统可能使用了华为云多种云服务,您可以为这些云服务下不同资源实例分别设置标签(对于CDM而言,标签作用于其集群上),各服务产生计费详单中都会体现这些资源实例和实例上设置标签。如果您业务系统是由多个不同应用构成

  • 配置CDM作业定时任务 - 云数据迁移 CDM

    触发时间(天):选择每月几号执行作业,该参数值取值范围是“1~31”,可配置多个值但不可重复,中间使用“,”分隔。 有效期:分为开始时间和结束时间。 开始时间:表示定时配置生效时间。其中时、分、秒也是每次自动执行时间。 结束时间:该参数为可选参数,表示停止自动执行定时任务时间。如果没有配置,则表示一直自动执行。

  • 修改集群 - 云数据迁移 CDM

    表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体类型(格式),有Body体情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:applic

  • 迁移HDFS文件,报错无法获取块怎么处理? - 云数据迁移 CDM

    迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建,往OBS迁移文件建立好连接器后,测试源端和目的端连通性都是没问题。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B

  • 基本概念 - 云数据迁移 CDM

    用户注册时账号,账号对其所拥有的资源及云服务具有完全访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建用户,是云服务使用人员,具有身份凭证(密码和访问密钥)。