检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本接口是一个异步命令,需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/scripts
在“空间信息”中,单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项,当前操作正在增加API配额,这会使工作空间下可以创建更多的API,同时可能使收费增加,请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使用配额,不能大于总配额-总分配配额+已分配配额。
作业配置完成后,保存并提交版本。 单击“执行调度”,启动作业调度。 在“作业监控”里面查看作业运行结果。 图5 查看作业的执行结果 在操作列的“更多”里面,可以查看最近实例DAG,作业实例依赖关系图。 图6 作业实例依赖关系图 父主题: 数据开发进阶实践
startEndMark:默认是为false。设置为true时,写入消息前将会同步一个开始消息和结束的消息。 columnAsKey:指定写入数据key值,也可以通过指定字段值作为key,通过配置@{column1}--@{column2}。 例如:目的端字段为id、name,需要使用这两个字段值,则配置成@{id}--@{name}。
贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time
表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1
2400 120 批量删除API 批量删除API。 2400 120 发布API 发布API。API只有发布后,才能够被调用。API发布时,可以将API发送至指定网关。 2400 120 API操作(下线/停用/恢复) 下线API。将已发布的API下线。下线后,所有授权关系都会被解除,API将无法再被调用。
表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1
可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编码。更新时必填,创建时可以为空,ID字符串。 name_ch 是 String 中文名称。 name_en 是 String 英文名称。 description 否
可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编码。更新时必填,创建时可以为空,ID字符串。 name_ch 是 String 中文名称。 name_en 是 String 英文名称。 description 否
主键取值方式为“联合主键”时,显示主键分隔符配置项,用于将多选的主键用主键分隔符拼接写入id。 _ 高级属性 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipeline_id
dcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面; obs://obs-tongji/python/out为输出参数文件夹的路径,并且会在OBS桶中自动创建该目录(如已存在out目录,会报错)。
"schema_name"."table_name" ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 设置成功后通过以下SQL可以查询到ALL_COLUMN_LOGGING说明该表已经开通补充日志。 SELECT 'KEY', LOG_GROUP_TYPE FROM ALL_LOG_GROUPS
选。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 否 Array of strings 数据密级id列表,数据密级id可以通过查询接口获取。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。
所有工作空间已发布的API数量。 api_publishable_num Integer 集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。
用户组名,从获取工作空间用户信息列表中获取。 表6 ApigRole 参数 是否必选 参数类型 描述 role_id 否 String 角色id,可以角色列表信息中获取,r00001:管理员;r00002:开发者;r00003:运维者;r00004:访客 响应参数 状态码: 400 表7
用户组名,从获取工作空间用户信息列表中获取。 表6 ApigRole 参数 是否必选 参数类型 描述 role_id 否 String 角色id,可以角色列表信息中获取,r00001:管理员;r00002:开发者;r00003:运维者;r00004:访客 响应参数 状态码: 400 表7
赖所选作业最近的一个运行实例,比如A在3:00开始调度,A依赖B最近的2:45调度的一个运行实例。 如果作业A在零点进行调度,所依赖作业B可以是昨天的分钟任务。 小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00,00:59]。 举例1:A依赖B
所有工作空间已发布的API数量。 api_publishable_num Integer 集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。
所有工作空间已发布的API数量。 api_publishable_num Integer 集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。