检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 $ak = getenv('SDK_AK');
表示准确性，Consistency表示一致性。 type String 规则类型，Field表示字段级规则，Table表示表级规则，Database表示库级规则，Cross-field表示跨字段级规则，Customize表示自定义规则。 system_template Boolean
priority 否 int 设置补数据作业的优先级。当系统资源不充足时，可以优先满足优先级较高的作业的计算资源，数字越大优先级越高，当前只支持对DLI SQL算子设置优先级。 is_stop_when_fail 否 Boolean 补数据作业失败时是否停止，true表示停止，false表示不停止。
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
传输数据时所用的文件格式，目前只支持二进制格式。 fromJobConfig.fromCompression 否 枚举 选择对应压缩格式的源文件进行迁移： NONE：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR
时间区间左边界（包含该值），格式为“yyyy-MM-dd hh:mm:ss”。 表示只抽取该时间及以后的数据。 fromJobConfig.endTime 否 String 时间区间右边界（不包含该值），格式为“yyyy-MM-dd hh:mm:ss”。 表示只抽取该时间以前的数据。 fromJobConfig.formats
时间过滤左边界，与end_time一起使用，只支持时间范围过滤，单边过滤无效。格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与begin_time一起使用只支持时间范围过
DLI权限同步时，需要该权限。 例如DLI权限同步时，如果无此权限会导致同步失败，系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
查看表 对于关系建模中的表，您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后，就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图，您可以切换为模型视图进行查看。 在DataArts Studio
时间过滤左边界，与end_time一起使用，只支持时间范围过滤，单边过滤无效。格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与begin_time一起使用只支持时间范围过
connections 否 Array of ValueMappingVO objects 连接调整，只针对DLI。 queues 否 Array of ValueMappingVO objects 队列调整，只针对DLI。 表4 ValueMappingVO 参数 是否必选 参数类型 描述 old_value
数据连接名称，创建时自定义，编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型，如：DWS、DLI、HIVE、RDS、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接
UTF-8 压缩格式 选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏，包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放，每级
可选参数，用于拆分Rowkey的分隔符，若不设置则不切分。 | 起始时间 可选参数，起始时间（包含该值），格式为“yyyy-MM-dd HH:mm:ss”，表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量，使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
效。 GBK 压缩格式 选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 需要解压缩的文件后缀名。当一批文件中以该值为后缀时
数据连接名称，创建时自定义，编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型，如：DWS、DLI、HIVE、RDS、SparkSQL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
