检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请前,请确保空间权限集已配置所选数据表中所有列的SELECT权限。 另外,导航树上的快速模式开启后,库表列的元数据会从数据目录获取,否则会从数据源获取元数据。推荐开启快速模式。 *已选择资源 在已选择资源列表中可查看所选的表、权限和审批人信息。 说明: 审批人默认来自权限集/角
0:3306:cdm|192.168.2.2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增
getDay(DateUtil.addDays(Job.planTime,1)) == 1 ? "true" : "false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式
表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket.obs
项目ID,获取方法请参见项目ID和账号ID。 id 是 String 实体ID,ID字符串。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息
getDay(DateUtil.addDays(Job.planTime,1)) == 1 ? "true" : "false"} 表达式的含义是:获取当前的时间点,往后推一天,判断是不是1号,如果是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)
Kafka消息不满足消息格式:则记录同步失败消息日志,继续消费下一条消息,最终状态为部分失败或者同步失败。 Kafka消息合法,但是由于网络资源等原因消费失败:触发Kafka重试机制,重试3次,间隔分别为4、6、9s,如果依然失败,则记录日志,终止此次调度。 Kafka消息合法
PB级数据上云,通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别
此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 300 30 查询脚本列表 此接口用以查询脚本列表。 300 30 查询脚本实例执行结果 该接口用以获取脚本实例的执行状态和结果。 300 30 删除脚本 此接口用以删除指定脚本。 300 30 执行脚本 该接口用以执行指定脚本,脚本每执行一次,生成一个脚本实例。
#{Job.getYesterday("yyyy-MM-dd")} EL表达式说明:Job为作业对象,通过getYesterday方法获取作业计划执行时间前一天的时间,时间格式为yyyy-MM-dd。 假设作业计划执行时间为2018/9/26 01:00:00,这个表达式计算
并行处理分支的条件类型配置为“满足条件时”,表达式配置为“${NormalApi_ff8bd|payload.data[0].area}”,该表达式含义是获取AreaInformation API的结果集内的第1行、对应列名为area的字段值。此处配置为如果该值等于“area1”,就执行并行处理分支。
用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。
开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。 value1 定时创索引
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)
项目ID,获取方法请参见项目ID和账号ID。 id 是 String 实体ID,ID字符串。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息
项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array