检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 进入回收站页面 在回收站页面,您可以通过切换页签,查看并还原已删除的权限集(包含空间权限集、权限集以及通用角色)或动态脱敏策略数据。 不同数据还原时的操作基本一致,后续步骤以还原权限集数据为例,为您介绍如何还原数据。
支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据开发中的对象 数据连接:定义访问数据实体存储(计算)空间所需信息的集合,包括连接类型、名称和登录信息等。
表2 Query参数 参数 是否必选 参数类型 描述 force_refresh 否 Boolean 是否查询最新的。 dw_type 是 String 数据连接类型。
domain_id String 租户id,可在IAM侧用户信息中查询账号ID。 instance_id String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 create_time Number 创建时间。
system_template 否 Boolean 是否只查询系统模板。 creator 否 String 创建者。 limit 否 Integer 分页时每页的条数,最大值为100。 offset 否 Integer 分页偏移量。
filter 否 DataMapFilterCriteria object 查询过滤条件。 guid_list 否 Array of strings guid列表。 trace_id 否 String 跟踪id。 source_trace_id 否 String 源跟踪id。
作业执行完成后,可在作业的“历史记录”中查看详细的数据统计。 父主题: 车联网大数据零丢失搬迁入湖
表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
表4 FgacSingleUpdateReq 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id,获取方法请参见查询细粒度认证数据源连接列表。
可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面更易操作,用户只需配置必要信息,学习成本减低。 基本流程 父主题: 实时处理集成作业开发
表1 支持的组件及权限列表 组件名 权限说明 HDFS HDFS文件的权限: Read:读权限 Write:写权限 Excute:执行权限 Hive Hive数据库、数据表、列的权限: Select:查询权限 Update:更新权限 Create:创建权限 Drop:drop操作权限
Cdm.0108 查询表记录失败。 自定义SQL,请首先确认正确性。 请确认查询未超时(小于60s). 若以上错误均无法规避,请联系客服或技术支持人员协助解决。 Cdm.0109 作业或连接名长度不能超过%s。 请根据错误提示修改作业或连接名称。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Number 作业算子个数,批量查询根据作业算子获取血缘。
user_id 是 String 用户id,可在IAM侧用户信息中查询。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。
Hudi表属性全局配置:单击“查看编辑”配置Hudi表属性全局配置。 “Hudi全局配置”作用于所有Hudi表,可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局配置”优先级低于单表“表属性编辑”中的配置,存在相同配置项时会被覆盖。
如何查看套餐包的剩余时长? 更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载 OBS数据存储 如何通过OBS控制台上传和下载数据。 智能客服 您好!
脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。 上传资源时,如果资源位置为HDFS,则只支持MRS Spark,MRS Flink Job,MRS MapReduce节点使用该资源。
计算任务预计完成时间 任务的运行受到资源和上游任务运行情况的影响,可以将任务添加至基线上,系统将计算出该任务的预计完成时间,便于用户查看任务的预计完成时间。
创建API 创建API即生成API和注册API。其中,生成API支持两种方式(配置方式生成API和脚本/MyBatis方式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。 发布API 只有将API发布后,API才支持被调用。