检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源(
单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。创建数据连接的操作,请参见配置DataArts
请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0315 连接名%s已存在。 请指定其他连接名后再重试。 Cdm.0316 无法更新不存在的连接。 请指定正确的连接后再重试。 Cdm.0317 连接%s无效。 请指定正确的连接后再重试。 Cdm.0318 作业已存在,无法重复创建。
String 资产guid,获取方法请参见数据资产guid。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。
关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:建立Hive的数据连接创建的连接。 开发Hive SQL作业 Hive SQL脚本开发完成后,我们为Hive SQL脚本构建一个周期执行的作业,使得该脚本能定期执行。
不支持包含中文和“.”字符的库表名。 DataArts Studio实例赠送的CDM集群,由于本身规格有限,推荐仅作为DataArts Studio管理中心数据连接的Agent代理使用。 建议为管理中心数据连接的Agent和CDM迁移作业规划相互独立的CDM集群,避免双方使用同一
TTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接。 name 是 String 作业名称,长度在1到240个字符之间。 from-link-name 是 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user
TTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接。 name 是 String 作业名称,长度在1到240个字符之间。 from-link-name 是 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user
http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接。 name String 作业名称,长度在1到240个字符之间。 from-link-name String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user
在创建表/文件迁移作业时,CDM支持在源端和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通
数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组列表,用户组名称逗号分
Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式
公测期间创建的数据服务专享版集群没有进行开启计费的操作,集群将于2021/08/29 00:00(北京时间)进入冻结期,冻结期内集群将被强制关机,在冻结期结束2021/09/08 00:00(北京时间)之后系统将自动删除未开启计费的集群。 宽限期内数据服务专享版集群的开启计费请参
是否使用DIS数据通道连接 否 若使用数据通道连接,可以向其他账号的DIS通道发送消息;若不使用,仅能给本账号下所有region的通道发送消息。 数据通道连接名称 否 仅当“是否使用DIS数据通道连接”选择为“是”时,需要配置此参数。 配置本参数前需在管理中心中组件创建DIS连接,然后在此处进行选择。
终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果
、HetuEngineSQL、RDSSQL其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLISQL、SparkSQL、HiveS
只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。
质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线,虚线为这7天质量评分的平均分。 若一天多次运行该作业,当天的质量评分为最后一次的得分。 单击“表评分”列的评分值链接,展开该表关联的规则评分,如图2所示。 图2 查看规则评分 规则名称为运行实例名称,如果作业被运行多次,取最新时间运行实例的结果。如果同一运