已找到以下 158 条记录
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
产品选择
没有找到结果,请重新输入
  • CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? - 云数据迁移 CDM

    CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 问题描述 作业管理页面访问不了,提示“网络或服务器异常,请重试”报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常:如磁盘、内存、CPU。 如果CDM集群以上指标都正常,用户侧清理浏览器缓存之后重新单击作业管理即可。

  • 修改作业 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 随机集群创建作业并执行 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 时间宏变量使用解析 - 云数据迁移 CDM

    在创建表/文件迁移作业时,CDM支持在源端和目的端以下参数中配置时间宏变量: 源端源目录或文件 源端表名 “通配符”过滤类型中目录过滤器和文件过滤器 “时间过滤”中起始时间和终止时间 分区过滤条件和Where子句 目的端写入目录 目的端表名 支持通过宏定义变量表示符“${}”来完成时间类型宏定义,当前

  • 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决? - 云数据迁移 CDM

    0及之后版本,则所创建用户至少需具备Manager_viewer角色权限才能在CDM创建连接;如果需要对MRS组件库、表、列进行操作,还需要参考MRS文档添加对应组件库、表、列操作权限。 如果CDM集群为2.9.0之前版本,或MRS集群为3.1.0之前版本,则所创建用户需要具备

  • 是否支持同步作业到其他集群? - 云数据迁移 CDM

    CDM是否支持同步作业到其他集群? 解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业功能,可以间接实现集群间作业迁移,方法如下: 将CDM集群1中所有作业批量导出,将作业JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add

  • 权限管理 - 云数据迁移 CDM

    制其对云资源访问范围。例如您员工拥有CDM使用权限,但是不希望其拥有删除CDM集群等高危操作权限,那么您可以使用IAM为员工创建IAM用户,通过授予仅能使用CDM服务,但是不允许删除CDM集群权限策略,实现控制其对CDM使用范围。 如果云账号已经能满足您要求,不需要

  • 创建IAM用户并授权使用CDM - 云数据迁移 CDM

    根据企业用户职能,设置不同访问权限,以达到用户之间权限隔离。 将CDM资源委托给更专业、高效其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您要求,不需要创建独立IAM用户,您可以跳过本章节,不影响您使用CDM服务其它功能。

  • Hive连接 - 云数据迁移 CDM

    模式,只能使用STANDALONE模式。 说明:STANDALONE模式主要是用来解决版本冲突问题运行模式。当同一种数据连接源端或者目的端连接器版本不一致时,存在jar包冲突情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 linkConfig

  • 数据保护技术 - 云数据迁移 CDM

    数据保护技术 数据存储安全 为了确保您个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权实体或者个人获取,CDM对用户数据存储和传输进行加密保护,以防止个人数据泄露,保证您个人数据安全。 数据销毁机制 用户删除CDM集群后,存储在集群上用户个人敏感数据会随之删除。

  • Elasticsearch连接参数说明 - 云数据迁移 CDM

    Elasticsearch连接参数 参数名 说明 取值样例 名称 连接名称,根据连接数据源类型,用户可自定义便于记忆、区分连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。

  • 如何查看审计日志 - 云数据迁移 CDM

    通过筛选来查询对应操作事件。 其中,CDM操作事件您可以在“事件来源”中筛选“CDM”进行查看。 图1 CDM操作事件 在需要查看事件左侧,单击事件名称左侧箭头,展开该记录详细信息。 在需要查看记录右侧,单击“查看事件”,弹窗中显示了该操作事件结构详细信息。 更多关于

  • 基本概念 - 云数据迁移 CDM

    用户注册时账号,账号对其所拥有的资源及云服务具有完全访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建用户,是云服务使用人员,具有身份凭证(密码和访问密钥)。

  • 时间宏变量使用解析 - 云数据迁移 CDM

    在创建表/文件迁移作业时,CDM支持在源端和目的端以下参数中配置时间宏变量: 源端源目录或文件 源端表名 “通配符”过滤类型中目录过滤器和文件过滤器 “时间过滤”中起始时间和终止时间 分区过滤条件和Where子句 目的端写入目录 目的端表名 支持通过宏定义变量表示符“${}”来完成时间类型宏定义,当前

  • 配置OBS源端参数 - 云数据迁移 CDM

    压缩格式 选择对应压缩格式源文件: 无:表示传输所有格式文件。 GZIP:表示只传输GZIP格式文件。 ZIP:表示只传输ZIP格式文件。 TAR.GZ:表示只传输TAR.GZ格式文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩文件后缀名。当一批文件

  • 参考:CDM性能实测数据 - 云数据迁移 CDM

    10000W行100列。 多并发抽取/写入速率,定义为分别取作业抽取并发数为1、10、20、30、50时,最大抽取/写入速率。 数据源抽取写入性能实测数据 常见数据源性能实测结果分别如表1和表2所示。 表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率(行/s)

  • 通过数据开发实现数据增量迁移 - 云数据迁移 CDM

    Studio服务DLF组件提供了一站式大数据协同开发平台,借助DLF在线脚本编辑、周期调度CDM迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移流程: 获取CDM作业JSON 修改JSON 创建DLF作业 获取CDM作业JSON

  • 认证证书 - 云数据迁移 CDM

    认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书

  • MRS HDFS数据迁移到OBS - 云数据迁移 CDM

    ManagerIP地址,可以单击输入框后“选择”来选定已创建MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 密码:访问MRS

  • MRS HDFS数据迁移到OBS - 云数据迁移 CDM

    ManagerIP地址,可以单击输入框后“选择”来选定已创建MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 密码:访问MRS