检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RDS（Postgresql） 4U32G（主备模式） Postgresql 13.12 128865 1351351（并发度：30） 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 （行/s） 多并发写入速率 （行/s） 云数据库 MySQL 8U 32G MySQL 5.7
DataArts Studio实例中的CDM没有计费是什么原因？ 购买非免费版的DataArts Studio实例时，系统会赠送一个4核CPU、8G内存规格CDM集群，不会产生费用。 注意，DataArts Studio实例赠送的CDM集群，推荐作为DataArts Studio管理中心数据
CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT)
不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 SQL或脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS
在“空间管理”页面，找到需要升级模式的工作空间，单击其所在行的“编辑”，此时显示“空间信息”页面。 在“空间信息”页面，单击“空间模式”后的“升级”按钮，弹出确认界面后，单击“确认升级”您就可以将该工作空间升级为企业模式。 图5 升级企业模式 升级后操作 升级后需要管理员手工修改数据
CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT)
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。然后基于标准化点/边数据集，自动生成图的元数据，实现最终将图数据（点数据集、边数据集和元数据）定期导入到GES服务中。
现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本，其他节点也支持。 如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DAT
现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本，其他节点也支持。 如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DAT
不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，根据CDM集群规格分别有如下限制：大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制，需要按照子目录来拆分成多个迁移作业。
Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，以及关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录（元数据采集）
如果“发布日志”中有错误日志，说明发布失败。您可以单击“重新同步”进行重试。 预览SQL 在汇总表列表中，找到所需要的汇总表，在右侧单击“更多 > 预览SQL”，弹出“预览SQL”对话框。 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 下线 在需要下线的汇总表右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。
实时资源管理”检查资源组是否运行。 RDS(MySQL) 请检查“管理中心 > 数据连接”，MySQL数据连接是否配置正确，“IP或域名”是否填写RDS内网IP，绑定Agent是否状态正常。 请检查“DataArts控制台实例 > 资源管理 > 实时网络连接管理”， 查看是否创建了MySQL所在VPC和子网的
、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。
H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。 表1 CDM集群规格 实例类型 核数/内存 最大带宽/基准带宽 并发作业数 适用场景 cdm.large
数据连接类型 数据类型说明 MySQL 请参见MySQL数据库作为源端时目的端自动建表支持的数据类型。 MySQL数据库作为源端时目的端自动建表支持的数据类型 源端为MySQL数据库，目的端为Hudi时，支持自动建表的数据类型如下： 表2 开源MySQL数据库作为源端时支持的数据类型
MRS_SPARK：MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL：POSTGRESQL连接类型的表的数据类型。 CLICKHOUSE：CLICKHOUSE连接类型的表的数据类型。 MYSQL：MYSQL连接类型的表的数据类型。 ORACLE：ORACLE连接类型的表的数据类型。
of CdmClusterFlavor objects 规格信息。 表5 CdmClusterFlavor 参数 参数类型 描述 cpu Integer CPU。 ram Integer 内存。 name String 规格名称。 region String region。 typename
对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务（即两个集群），且两套数据湖服务的版本、规格、组件、区域、VP
CPU使用率 该指标用于统计测量对象的CPU使用率。 单位：%。 0%～100% CDM集群实例 1分钟 mem_usage 内存使用率 该指标用于统计测量对象的内存使用率。 单位：%。 0%～100% CDM集群实例 1分钟 pg_pending_job 排队作业数 该指标用于统计该
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
