检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
停止作业实例 功能介绍 停止指定作业实例。只有作业实例的状态是运行中,才能停止作业实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/instances/{instance_id}/stop
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job
objects 作业实例重跑参数,当重跑当前实例类型时,需要指定该参数的重跑信息,重跑当前作业及其上下游作业实例类型不需要指定该参数。 begin_time 否 Long 实例开始时间,当重跑当前作业及其上下游作业实例类型时,该参数有效。 end_time 否 Long 实例结束时间,当
败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该
Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后,在页面选择所需要批量修改主题的项,单击“更多 > 修改主题”,可以将选中的项更改到其它主题。配置完成单击“确定”。 图1 批量修改主题 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 在DataArts Studio
站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数据生命周期内统一的数据使用保护能力。通过访问权限管理、敏感数据识别、隐私保护管理等措施,帮助用户建立安全预警机制,增强整
QL、RDSSQL、ImpalaSQL、PYTHON、SparkPython其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLIS
作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输出速率 展示用户Flink作业的数据输出速率,供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输入总数 展示用户Flink作业的数据输入总数,供监控和调试使用
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示,如果将: 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换,这个作业表示:将Oracle数据库的“SQOOP
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
String 项目编号,获取方法请参见项目ID和账号ID。 name 否 String 补数据实例名称 user_name 否 String 用户名 status 否 String 实例状态: SUCCESS:成功 RUNNING :运行中 CANCLE:取消 sort 否 String
String 项目编号,获取方法请参见项目ID和账号ID。 is_own 否 String 是否查询当前用户的实例,默认为false,表示查询全部用户实例,为true时,表示查询当前用户的实例。 query_days 否 String 查询的天数,取值范围为:today、yesterda
数据权限查询接口 查询角色对一组库、表的可配置操作权限信息 父主题: 数据安全API
encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.iv 否 String 初始化向量,“toJobConfig
在任务树中选中transport目录,然后单击“新建”按钮,开始新建采集任务。 按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式
Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Each节点生成的子作业实例,由于数据集中有6行数据,所以这里就对应产生了6个子作业实例。 图8 查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
质量规则接口 更新表的异常数据输出配置 清空质量规则 父主题: 数据架构API
如何创建数据库和数据表,数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表,数据库与数据连接的关系不清楚,需要具体解释下,便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts Studio和其他数据服务的连接通道。