检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user_name String 用户名。 export_resources String 导出资源信息,默认为空。 import_body String 导入body体,默认为空。 file_status String 文件进度状态,PREPARING表示准备中,GENERATED表
能解决。 说明: 当启动该功能时,也会导致部分字段消耗用户相应的3倍存储空间。 否 使用非空约束 当选择自动创建目的表时,如果选择使用非空约束,则目的表字段的是否非空约束,与原表具有相应非空约束的字段保持一致。 是 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。
否 String 定时关机的时间,定时关机时系统不会等待未完成的作业执行完成。 vpcId 否 String 指定虚拟私有云ID,用于集群网络配置。 name 否 String 集群名称。 sys_tags 否 Array of sys_tags objects 企业项目信息,请参见sys_tags参数说明。
件的格式参考导出连接的响应消息。 无OBS场景:连接定义文件在本地的路径。 params 否 List<Params> 连接参数,默认值为空。 sameNamePolicy 否 String 重名策略 SKIP:跳过 OVERWRITE: 覆盖。 默认值是SKIP Params 连接参数说明
SQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。 configuration 否 map <String,Object> 用户定义适用于此作业的配置参数,当type参数值为DLI SQL时,才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。 description 否 String
t等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。 如果设定为非必填,则在API访问时,未传入的参数会使用默认值进行代替;如果未传入参数,也没有默认值,则允许空值时会使用null替换,不允许空值时忽略该参数条件。 说明: 入参定义中,参数大小限制如下:
路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。 value1 定时创索引 对于持续写入数据到Elasticsearch的流式作
路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。 value1 定时创索引 对于持续写入数据到Elasticsearch的流式作
上传文件至OBS桶 本例中,wordcount.py和in.txt文件上传路径为:obs://obs-tongji/python/ 创建一个数据开发模块空作业,作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。
偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 是 父主题: 配置作业源端参数
系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎 说明 库级 完整性 数据库空值扫描 DLI、DWS、HIVE、SparkSQL、CLICKHOUSE、GBASE、ORACLE、RDS、DORIS 计算数据库每个表中每个字段的空值字段行数,结果以字段为维度呈现。 表级 准确性 表行数 DLI
例默认最大拥有20个标签。每个标签有且只有一对键值。键和值可以任意顺序出现在标签中。同一个实例标签的键不能重复,但是值可以重复,并且可以为空。 使用方式 DataArts Studio支持通过控制台方式为实例创建标签,详情请参见购买DataArts Studio实例。 父主题: 安全
BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。
BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 是 父主题: 配置作业源端参数
数为可选参数。一个流程需要填写一条记录。 表3 流程导入参数说明 参数名 说明 上级流程 第一层的流程,其上级流程为空,不用填。 非第一层的流程,其上级流程不能为空。上级流程为多级流程时,流程之间以“/”分隔。例如“集成产品开发/开发生命周期”。 *名称 流程名称。 *责任人 流
BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。
t=UTF-8 表3 Body参数说明 参数名 是否必选 参数类型 说明 tag_names 否 List<String> 标签列表。若为空表示清空作业标签。 样例值: ["tag1", "tag2"] 响应参数 无 请求示例 为作业myJob设置标签“tag1”。 POST /
compressedFileSuffix 否 String 需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 fromJobConfig.fileSeparator 否 String 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。
前行的第一个值或第二个值等,详见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循
ECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: