检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
批量删除质量作业 功能介绍 批量删除质量作业 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/quality-tasks/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
获取质量报告子规则字段评分 功能介绍 获取质量报告子规则字段评分。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/sub-rule/results 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
TIME_CONDITION: 时间限定 is_primary_key 是 Boolean 是否主键。 is_partition_key 是 Boolean 是否分区键。 not_null 否 Boolean 是否不为空。 description 否 String 描述。 data_type 是
对于DWS数据库的FLOAT4、FLOAT8类型参数,不支持比较数值是否相等。 > 检查左操作数的值是否大于右操作数的值。 如果绑定字段大于绑定参数,则条件为真。 >= 检查左操作数的值是否大于等于右操作数的值。 如果绑定字段大于等于绑定参数,则条件为真。 < 检查左操作数的值是否小于右操作数的值。 如果绑定字段小于绑定参数,则条件为真。
sumer-group 消费记录策略 消费record策略。 起止时间:根据kafka record元数据TIMESTAMP判断,抽取的record是否符合填入的起止时间范围。当消费到的record到达结束时间,则终止抽取任务。起止时间范围左闭右开:[起始时间,结束时间)。可配合调度任务使用。
TIME_CONDITION: 时间限定 is_primary_key 是 Boolean 是否主键。 is_partition_key 是 Boolean 是否分区键。 not_null 否 Boolean 是否不为空。 description 否 String 描述。 data_type 是
请确认源文件或源目录是否存在,修改正确后再重试。 Cdm.0423 400 目的路径存在重复文件。 目的路径存在重复文件。 请在目的路径中删除重复文件后再重试。 Cdm.0467 400 连接超时。 连接超时。 请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确。 Cdm
批量停止实例 功能介绍 批量停止实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/instances/batch-stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
免费试用即将到期,如何续费? 实例试用/购买成功后,可以转移到其他账号下吗? DataArts Studio是否支持版本升级? DataArts Studio是否支持版本降级? 如何查看DataArts Studio的版本? 购买DataArts Studio实例时为什么选不到指定的IAM项目?
使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格
功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
功能介绍 查询统计用户相关的总览调用指标。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询API信息 功能介绍 查询API信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。
(二进制格式时)对于Binary,CSV的文件迁移场景,判断条件为文件名相同,文件大小相同。 REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:停止任务。 对于Parquet、ORC的结构化集成场景,判断条件为自定义文件名前缀匹配。 REPLACE:写入前清
删除作业 功能介绍 删除作业接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST
quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。 fromJobConfig.firstRowAsHeader 否 Boolean 是否默认首行为标题行,当文件格式为“CSV_
选择“数据开发 > 审批中心”,单击“审批配置”页签。 开启审批开关。仅当前工作空间管理员或者拥有DAYU Administrator、Tenant Administrator权限的用户,可以开启或者关闭审批开关。 该开关开启后,在提交作业或脚本时,都需要指定审批人。开关关闭后,所有作业/脚本都将不再需要审批。