检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录(找到多条匹配记录时,只会替换找到的第一条记录)。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录(找到多条匹配记录时,只会替换找到的第一条记录)。如果没有,则不会添加新记录。
Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。
时此参数有效,默认值为:“\tab”。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 fromJobConfig.formats 否 数据结构 时间格式,请参见fromJobConfig
集群ID编号。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace
Studio管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使用,用于将源端原始数据集成到目的端数据湖底座中。 父主题:
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
跑。 如果作业中节点个数或者名称发生变化,从第一个节点开始重跑。 如果重跑成功状态的作业实例,从第一个节点开始重跑。 使用的作业参数 使用原有作业参数重跑 使用最新提交作业参数重跑 处理并发数 仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。 设置作业实例并
先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认使用该工作空间级委托。您也可参见配置作业委托,修改为作业级委托。 说明: 作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储
表,将数据确认为企业资产负债表中“资产”一项,在财务报表中体现其真实价值与业务贡献。 数据资产入表后,可以准确计量数据资源价值,同时为财报使用者提供更直观的数据资产相关信息,有助于投资者对企业进行更好的估值;可以改善企业财务报表,进而降低资产负债率,提升利润率;数据入表后可以通过
响应参数 表4 参数说明 参数名 是否必选 参数类型 说明 instanceId 是 String 执行脚本的实例ID。在查询脚本实例执行结果使用instanceId获取执行结果。 请求示例 执行脚本名称为dws_sql的脚本,脚本中参数tableVar的值为citys,脚本中参数time的值为2019-07-25。
job job_batch.job和job_stream.job是作业定义文件 dws_sql.script是job_batch.job所使用的DWS SQL脚本文件。 失败响应 HTTP状态码 400 { "error_code":"DLF.3051", "error_msg":"The
由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。 配置方法 创建质量作业 在DataArts Studio控制台首页,选
表1 参数配置表 配置 说明 *分组名称 规则组名称只能包含中文、英文字母、数字和下划线。 建议包含规则含义,避免无意义的描述,以便于使用中能快速选择需要的规则组。 分组描述 为更好地识别规则组,此处加以描述信息。 相关操作 编辑规则分组:在规则分组页面,单击对应规则分组操作
的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群用于满足业务需求,请通过按需计费方式购买批量数据迁移增量包。 如果您需要为购买的CDM集群匹配套餐包用于降低使用成本,请通过套餐包方式购买批量数据迁移增量包。 DataArts
force_success 否 boolean status为success的时候使用,true则筛选出强制成功的作业实例 默认值:false ignore_success 否 boolean status为success的时候使用,true则筛选出忽略失败的作业实例 默认值:false 请求参数
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
业务ID参数包括作业ID和作业生成的实例ID两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天
DAY:天为单位 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace
设置通知记录数据存储的位置。 开关 是 是否开启通知,默认开启。 单击“确定”。 数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 通知配置完成后,您可以在通知的“操作”列进行如下操作。 单击“编辑”,打开“通知配置”页面,可以
集群ID编号。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace