检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent功能待下线，无需配置。 - 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 datastore_id 是 String 版本ID，获取方法请参见CDM支持的版本。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
单击CDM集群“操作”列的“作业管理”，进入作业管理界面。 单击“连接管理->驱动管理”，参考管理驱动，上传MySQL数据库驱动。 选择“连接管理 > 新建连接”，新建MySQL连接。连接器类型选择“MySQL”，然后单击“下一步”配置连接参数，参数说明如表1所示。配置完成后，单击“保存”回到连接管理界面。
STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置，用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显
自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口，一般是数据源提供的对外接口，例如JDBC、原生API等，因此在开发脚本时需要依赖大量的库、SDK等，开发管理成本较高。 CDM提供了Web化的管理控制台，通过Web页实时开通服务。
除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。 解决方案 查看Yarn任务，搜索Spark
08:08:08.666 +0800”。 图2 作业配置 此时，从其他数据源导入数据到云搜索服务时，如果源端数据中的日期格式不完全满足标准格式，例如“2018/01/05 15:15:46”，则CDM作业会执行失败，日志提示无法解析日期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。
自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口。一般是数据源提供的对外接口，例如JDBC、原生API等，因此在开发脚本时需要依赖大量的库、SDK等，开发管理成本较高。 CDM提供了Web化的管理控制台，通过Web页实时开通服务。
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 validation-result
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码： 500 表3 响应Body参数 参数 参数类型 描述 errCode
查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取，接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。
时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token可通过调用获取用户Token接口获取，调用本服务API需要project级别的Token，即调用获取用户Token接口时，请求body中auth.scope的取值需要选择project，如下所示。
（可选）在标签列表中，单击标签操作列“删除”，删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中，选择资源搜索条件，单击“搜索”即可筛选出所配置标签的资源。 在集群列表中，单击标签搜索，筛选出所配置标签的资源。 父主题： 创建并管理CDM集群
String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
更新配置 CDM云服务通过版本更新升级更新配置。 父主题： 安全
待迁移数据的目录，将迁移目录下的所有文件（包括所有嵌套子目录及其子文件）。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。 在左侧导航窗格中，选择“权限管理>权限”页签，单击右上方的“创建自定义策略”。 图1 创建自定义策略 在自定义策略配置页面，策略配置方式切换至JSON视图，然后按照如下策略内容，创建obs_dli-trans自定义策略。
支持从神通（ST）导出数据。 参见配置神通（ST）源端参数。 达梦数据库 DM 支持从达梦数据库 DM导出数据。 参见配置达梦数据库 DM源端参数。 配置目的端作业参数，根据目的端数据类型配置对应的参数，具体如表2所示。 表2 目的端作业参数说明 目的端类型 说明 参数配置 OBS 支持使用C
但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
