已找到以下 179 条记录
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
产品选择
没有找到结果,请重新输入
  • 批量管理CDM作业 - 云数据迁移 CDM

    选择集群后“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内所有作业都删除。 创建作业任务配置中,如果已经将作业分配到了不同分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。

  • 约束与限制 - 云数据迁移 CDM

    rts Studio权限体系进行权限管理;在CDM控制台购买CDM集群,按照云数据迁移CDM服务权限体系进行权限管理。 使用场景:在DataArts Studio控制台购买CDM集群按工作空间隔离,需要在关联工作空间使用;在CDM控制台购买CDM集群,不支持DataArts

  • 分析数据 - 云数据迁移 CDM

    通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应SQL脚本进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析

  • 配置MRS Hudi目的端参数 - 云数据迁移 CDM

    不存在时创建:当目的端数据库没有“表名”参数中指定表时,CDM会自动创建该表。如果“表名”参数配置表已存在,则不创建,数据写入到已存在表中。 不自动创表 导入前清空数据 选择目的端表中数据处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中数据,如果选“否

  • 步骤1:创建集群 - 云数据迁移 CDM

    当CDM集群与其他云服务所在区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在主机、数据源所在主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务网络互

  • 通过数据开发使用参数传递灵活调度CDM作业 - 云数据迁移 CDM

    作业)。 实时处理作业:处理实时连续数据,主要用于实时性要求高场景。实时作业是由一个或多个节点组成业务关系,每个节点可单独被配置调度策略,而且节点启动任务可以永不下线。在实时作业里,带箭头连线仅代表业务上关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点

  • 查询集群列表 - 云数据迁移 CDM

    object 任务信息 publicEndpoint String 集群绑定EIP actionProgress ActionProgress object 集群操作进度,任务信息,由key、value组成。key值为正在进行任务,value值为正在进行任务进度。示例如 "a

  • 返回结果 - 云数据迁移 CDM

    返回结果 请求发送以后,您会收到响应,包含:状态码、响应消息头和响应消息体。 状态码 状态码是一组从1xx到5xx数字代码,状态码表示了请求响应状态,完整状态码列表请参见状态码。 对于“获取用户Token”接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头

  • 概述 - 云数据迁移 CDM

    批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 您可以使用本文档提供API对云数据迁移服务进行操作,如创建集群、创建迁移任务等,支持全部操作请参见API概览。 在调用云数据迁移服务API之

  • 查询版本规格 - 云数据迁移 CDM

    版本ID,获取方法请参见CDM支持版本。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务“获取用户Token”接口获取响应消息头中X-Subject-Token值。 响应参数

  • 配置DLI源端参数 - 云数据迁移 CDM

    示。 表1 DLI作为源端时作业参数 参数名 说明 取值样例 资源队列 选择目的表所属资源队列。 DLIdefault队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据数据库名称。 dli 表名 写入数据表名。 car_detail

  • 指定集群创建作业 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 云数据迁移安全结论 - 云数据迁移 CDM

    M实例隔离,提升CDM实例安全性。 数据加密 用户数据源访问信息(用户名和密码)存储在CDM实例数据库中,并采用AES-256加密,CDM管理员无法访问。 数据删除 用户删除CDM实例时,存储在实例中数据都会被删除,任何人都无法查看及恢复数据。

  • 基本概念 - 云数据迁移 CDM

    通常在调用API鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域所有资源。如果您希望进行更加精细权限控制,可以在区

  • 迁移到DWS时出现value too long for type character varying怎么处理? - 云数据迁移 CDM

    varying”错误提示,如图1所示。 图1 日志信息 原因分析 这种情况一般是在迁移到DWS时数据有中文,且创建作业时选择了目的端自动建表情况下。原因是DWSvarchar类型是按字节计算长度,一个中文字符在UTF-8编码下可能要占3个字节。当中文字符字节超过DWSvarchar长度时,就会出现错误:value

  • 创建MRS Hive连接器 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • 创建MRS Hive连接器 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • 应用示例 - 云数据迁移 CDM

    iam_endpoint CDMEndpoint 终端节点(Endpoint)即调用API请求地址,不同服务不同区域终端节点不同。本服务Endpoint您可以从终端节点Endpoint获取。 cdm_endpoint MySQL数据库 IP地址 本地MySQL数据库IP地址,且该地址允许CDM通过公网IP访问。

  • 项目ID和账号ID - 云数据迁移 CDM

    项目ID可以通过调用查询指定条件下项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM终端节点,可参考IAM文档获取。 接口认证鉴权请参见认证鉴权。 响应示例如下,其中projects下“id”即为项目ID

  • CDM迁移数据到DWS时如何选取分布列? - 云数据迁移 CDM

    择,CDM会自动选择一个分布列。关于分布列更多信息,请参见数据仓库服务。 DWS主键或表只有一个字段时,要求字段类型必须是如下常用字符串、数值、日期类型。从其他数据库迁移到DWS时,如果选择自动建表,主键必须为以下类型,未设置主键情况下至少要有一个字段是以下类型,否则会无法创建表导致CDM作业失败。