正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。 响应参数
请检查脚本。 400 DLF.0802 The specified parameter is not configured. 指定的参数没有配置。 请检查参数。 400 DLF.0803 The OBS path is invalid. OBS路径不合法。 请检查OBS路径。 400
查询集群的企业项目ID 查询指定集群的企业项目ID。 6000 120 查询集群实例信息 查询集群实例信息。 6000 120 修改集群 修改CDM集群配置。 6000 120 重启集群 重启集群接口。 200 20 启动集群 启动集群接口。 200 20 停止集群(待下线) 停止集群接口。 200
图数据自动化构建与分析场景介绍 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts S
有哪些需求,需要获得什么价值? 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少? 本示例仅1个 用户可手动创建几十个作业,也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口,则可创建超过100个质量作业 用户的使用场景? 对DWI层数据进行标准化清洗 一般在
D两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天)。例如,调度日期为2023
连接名称。 type 是 String 连接类型。 params 否 Map<String,Stri ng> 连接参数,参数名称请参考每种类型的连接配置项说明,默认值为空。 响应参数 参数名 是否必选 参数类型 说明 taskId 是 String 任务ID,请调用查询系统任务接口获取导入状态。
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 请求示例 查询资源详情 GET /v1/b384b
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 请求示例 查询资源列表 GET /v1/b384b
DataArts Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Onli
图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式:在python安装目录的Lib\site-packages文件夹下新建一个sitecustomize.py文件,在文件中写入如下内容。 # encoding=utf8
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 响应参数 表4 参数说明 参数名 是否必选 参数类型
strings 标签。 api_type 否 String API类型。 枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置类API API_SPECIFIC_TYPE_SCRIPT: 脚本类API API_SPECIFIC_TYPE_MYBATIS: MyBatis类API
作业的创建者 createTime 是 Long 作业的创建时间 startTime 否 Long 作业的启动时间 endTime 否 Long 作业配置的结束时间 lastInstanceStatus 否 String 作业最近一次运行实例状态,当jobType为BATCH时才有本字段。 lastInstanceEndTime
调度MRS spark作业报错“The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理? 问题描述 DataArts Studio作业调度MRS
据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig.whereClause
描述,长度不能超过255个字符。 directory 是 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 表4 DependPackage参数说明 参数名 是否必选
件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。
同步API 操作场景 您可以通过同步API功能,在数据服务共享版与专享版之间进行同步API,或将共享版与专享版的API同步至数据地图。 前提条件 已创建API。 共享版与专享版同步 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。