检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。 toJobConfig.recordMD5Bucket 否 String 写入MD5校验结果的OBS桶。
DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 脚本运行成功后,可以通过如下脚本检查数据表是否创建成功。 SHOW TABLES; 确认数据
数据连接的创建。参数配置如图2所示。 数据连接类型:数据仓库服务(DWS) 数据连接名称:dws_link 标签:可选参数。您可以输入新的标签名称,也可以在下拉列表中选择已有的标签。 适用组件:保持默认即可。 SSL加密:是否开启,请与源端DWS集群的配置保持一致。 连接方式:选择“通过代理连接”。
数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true:必填,false:非必填。 searchable
数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true:必填,false:非必填。 searchable
选。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 否 Array of strings 数据密级id列表,数据密级id可以通过查询接口获取。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。
说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。
增强型和自定义的Spark镜像)。 基础型 AI增强型 自定义镜像 当选择“自定义镜像”时,请选择自定义的镜像名称,版本号系统自动展示。您可以前往容器镜像服务进行设置。 作业运行资源 否 8核32G内存 16核64G内存 32核128G内存 作业主类 否 该参数表示作业的Java/Scala主类。
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的
用户组名,从获取工作空间用户信息列表中获取。 表6 ApigRole 参数 是否必选 参数类型 描述 role_id 否 String 角色id,可以角色列表信息中获取,r00001:管理员;r00002:开发者;r00003:运维者;r00004:访客 响应参数 状态码: 400 表7
所有工作空间已发布的API数量。 api_publishable_num Integer 集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。
码是否正确,若配置错误的用户名密码,会导致账号映射失败。而对于默认访问身份的配置的账号密码,系统支持校验。 配置账号映射策略 账号映射策略可以分为三部分:一为基本信息配置;二为默认访问身份,对于未在集群账号映射中配置的IAM账号,会使用默认访问身份执行;三为集群账号映射,对不同IAM用户设置对应的映射账号。
说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。
用户组名,从获取工作空间用户信息列表中获取。 表6 ApigRole 参数 是否必选 参数类型 描述 role_id 否 String 角色id,可以角色列表信息中获取,r00001:管理员;r00002:开发者;r00003:运维者;r00004:访客 响应参数 状态码: 400 表7
贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time
表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1
贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time
赖所选作业最近的一个运行实例,比如A在3:00开始调度,A依赖B最近的2:45调度的一个运行实例。 如果作业A在零点进行调度,所依赖作业B可以是昨天的分钟任务。 小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00,00:59]。 举例1:A依赖B
filter_criteria 否 FilterCriteria object 过滤条件。 time_range 否 TimeRange object 时间过滤条件,可以根据此条件设置过滤资产。 scroll_id 否 String scroll_id。 security_levels 否 Array of
所有工作空间已发布的API数量。 api_publishable_num Integer 集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。