检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 可能原因 此报错一般是因为授权对象未同步到DWS数据源引起的。 解决方案 您可以通过同步用户,重新将授权对象同步到DWS数据源,然后再次尝试审批申请。 父主题: 数据安全
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 reason 是 String 审批通过/驳回原因 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 reason 是 String 审批通过/驳回原因 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述
DWS数据连接开启SSL时测试连接失败怎么办? 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
报错信息 原因分析 查看日志提示报错信息为“Array element access needs an index starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题:
DataArts Studio执行调度时,报错提示“作业没有可以提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错“作业没有已提交的版本”,请先提交作业版本。 原因分析 该作业还没有提交版本,就开始执行调度,导致执行调度报错。作业执行调度前必须保证作业存在一个版本。
数据开发创建数据连接,为什么选不到指定的周边资源? 可能原因 数据开发创建数据连接,选不到指定的周边资源,可能是由于不在同一个Region下。 解决方案 请确认当前DataArts Studio实例与周边资源在同一个Region且在同一个IAM项目下。如果账户开通企业项目,则还需在同一个企业项目下。
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? 问题描述 提交调度后的作业执行失败,报depend job [XXX] is not running or pause。 原因分析 该问题是由于上游依赖作业不在运行状态而造成。
Studio调度CDM任务时,报错Given transaction id [xxxx] is invalid。 可能原因 存在多个DataArts Studio作业同时调度同一个CDM任务节点,导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间,保证同一时间只保留一个调度任务。
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
创建2个作业,但是无法建立依赖关系。 原因分析 查看所创建的2个作业的调度周期,确认这2个作业是否均为周调度作业或者月调度作业。目前不支持同周期调度,即周依赖周或者月依赖月的作业,不支持建立依赖关系。 解决方案 如果这2个作业是周依赖周或者月依赖月的作业,可以把这2个作业放到同一个画布中再运行。
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问
63-64 : ordinal not in range ( 128 ),如下图所示。 图1 报错信息 原因分析 DataArts Studio默认用的python2的解释器,python2默认的编码格式是ASCII编码,因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。
配置数据服务审核中心 数据服务平台的审核中心,提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间