已找到以下 262 条记录
AI智能搜索
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
  • 删除连接 - 云数据迁移 CDM

    } else { fmt.Println(err) } } 更多编程语言SDK代码示例,请参见API Explorer代码示例页签,可生成自动对应SDK代码示例。 状态码 状态码 描述 200 OK。 400 请求错误。 401 鉴权失败。 403

  • 批量管理CDM作业 - 云数据迁移 CDM

    选择集群后“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内所有作业都删除。 创建作业任务配置中,如果已经将作业分配到了不同分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。

  • Hudi目的端作业执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM

    re中存在,但是表目录不存在,根因是在表目录下没有.hoodie目录。可能删表时候只删了文件而没有drop table。 设置为主键或者预聚合键列有空值,写入hoodie会失败。 查看作业配置,查看表属性中hoodie.datasource.write.recordkey.field、hoodie

  • 修改作业 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 指定集群创建作业 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 修改连接 - 云数据迁移 CDM

    objects 输入参数列表,列表中每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同源连接类型有不同“inputs”参数列表,请参见源端作业参数说明下章节。在“to-config-val

  • 创建连接 - 云数据迁移 CDM

    objects 输入参数列表,列表中每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同源连接类型有不同“inputs”参数列表,请参见源端作业参数说明下章节。在“to-config-val

  • FTP/SFTP连接参数说明 - 云数据迁移 CDM

    FTP/SFTP连接参数 参数名 说明 取值样例 名称 连接名称,根据连接数据源类型,用户可自定义便于记忆、区分连接名。 ftp_link 主机名或IP FTP或SFTP服务器IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器端口,FTP默认值为21;SFTP默认值为22。

  • Hudi目的端作业失败,日志报错Read Timeout怎么解决? - 云数据迁移 CDM

    sql,则多半是队列资源限制,打开yarn,搜索租户队列,查看Spark2x-JDBCServer2xyarn任务,此时可能会搜索不到yarn任务,或者State为ACCEPTED,这两种情况都是资源不足起不了yarn任务现象。打开yarnschedule,查看队列资源,关注以下几个参数: Used

  • 应用示例 - 云数据迁移 CDM

    BYTES_WRITTEN:表示写入字节数。 BYTES_READ:表示读取字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入文件数。 FILES_READ:表示读取文件数。 ROWS_WRITTEN:表示写入成功行数。 ROWS_READ:表示读取成功行数。

  • 云数据迁移 CDM - 云数据迁移 CDM

    简称CDM),是一种高效、易用数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用迁移能力和多种数据源到数据湖集成能力,降低了客户数据源迁移和集成复杂性,有效提高您数据迁移和集成效率。 什么是云数据迁移 产品优势 迁移原理 支持数据源 已发布区域:全部

  • 审计与日志 - 云数据迁移 CDM

    事件用于审计,用户可查看CTS保存最近7天审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关高危敏感操作,作为关键操作加入到CTS实时监控列表中进行监控跟踪。当用户使用CDM服务时,如果触发了监控列表中关键操作,那么CTS会在记录操作日志同时,向相关订阅者实时发送通知。

  • 身份认证与访问控制 - 云数据迁移 CDM

    Management,简称IAM)进行精细权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全控制华为云资源访问。关于IAM详细介绍,请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供一种根据用户工作职能定义权限粗粒度授权机制。该机制

  • 随机集群创建作业并执行 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 错误码 - 云数据迁移 CDM

    请稍后重试,或请联系客服或技术支持人员协助解决。 Cdm.0204 400 没有已创建MRS连接。 没有已创建MRS连接。 当前没有MRS连接,您需要先前往集群“连接管理”页面创建一个MRS连接,然后再重新执行当前操作。 Cdm.0230 400 不能加载该类:%s。 类加载失败。 请联系客服或技术支持人员协助解决。

  • 权限管理 - 云数据迁移 CDM

    业对权限最小化安全管控要求。 策略:IAM最新提供一种细粒度授权能力,可以精确到具体服务操作、资源以及请求条件等。基于策略授权是一种更加灵活授权方式,能够满足企业对权限最小化安全管控要求。例如:不允许某用户组删除集群,仅允许CDM基本操作(如创建、查询作业等)。CDM支持的授权项请参见权限策略及授权项。

  • 通过CDM节点批量创建分表迁移作业 - 云数据迁移 CDM

    名称 连接名称,根据连接数据源类型,用户可自定义便于记忆、区分连接名。 mysql_link 数据库服务器 配置为要连接数据库IP地址或域名。 单击输入框后“选择”,可获取用户MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接数据库端口。 3306

  • CDM集群Hive连接无法查询库和表内容 - 云数据迁移 CDM

    CDM集群Hive连接无法查询库和表内容 问题描述 cdm集群hive连接无法查询到数据库和表内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效方案: get_table_req。 解决方案 用户MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装Hive

  • 是否支持字段转换? - 云数据迁移 CDM

    "ue") 如果当前字段为字符串类型,移除当前字段末尾指定子字符串。指定子字符串若不在当前字段末尾,则不转换,例如移除当前字段“www.domain.com”后“.com”。 表达式:StringUtils.removeEnd(value,".com") 如果当前字段为字符串

  • 停止集群(待下线) - 云数据迁移 CDM

    停止集群(待下线) 功能介绍 停止集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String