检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看CDM作业被哪些作业进行调用？ 问题描述 CDM作业被哪些作业进行调用。 解决方案 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业的监控页面。 通过条件筛选，查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。
执行DLI脚本，报Invalid authentication怎么办？ 可能原因 执行DLI脚本，提示报错信息Invalid authentication，可能是由于权限不足引起的。 解决方案 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。 JSON格式
怎样查看质量规则模板关联的作业？ 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
CDM是否支持集群关机功能？ 问题描述 CDM是否支持集群关机功能？ 解决方案 不支持。 从2022年4月开始，CDM已不再支持集群关机功能。当集群关机时，其底层资源可能会被占用，导致集群可能无法正常开机使用。 父主题： 数据集成（CDM作业）
基线运维概述 基线运维功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 当前仅北京四、华南广州和上海一局点给用户开放使用。 基线运维功能支持用户通过配置基线任务，实现对任务运行状态及资源使用情况的监控；通过配置运维基线，保障复杂依赖场景下重要数据在预期时
配置HBase 源端参数 表1 Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称，通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业，请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、S
如何确认质量作业或对账作业已经阻塞？ 可能原因 质量作业或对账作业运行阻塞，不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时，选择“运维管理”，单击操作栏中的“结果&日志”并选择查看“运行日志”，当“运行日志”不再更新，表示作业已经阻塞。 图1 作业运行日志 父主题：
API传参是否支持传递操作符？ API传参不支持传递操作符。 API传参传递的只是参数，操作符是固定的，多个参数可使用in(${})方式。 父主题： 数据服务
查看同步日志 Migration实时集成服务底层依托于Flink开发而来，同样对外开放了Flink的JobMamager和TaskManager日志，便于用户查看实时同步情况，并通过日志定位或排查异常问题。 前提条件 实时集成作业已启动、启动过。 实时集成作业已正常运行一段时间（约5分钟）。
基础操作符 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 表1 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 - 减或负 * 乘 / 或 div 除 % 或 mod
查看作业依赖关系图 您可以通过查看作业依赖关系视图，直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业，否则视图中仅能展示当前作业节点，无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts
转移作业责任人 数据开发模块提供了转移作业责任人的功能，您可以将责任人A的所有作业一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
作业的计划时间和开始时间相差大，是什么原因？ 问题描述 如图所示，在作业实例监控页面查看作业运行记录时，发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
配置下载权限 本章介绍如何通过下载权限策略，基于用户或用户组，对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。 DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_POLICY”的
作业配置了每日调度，但是实例没有作业运行调度记录？ 问题描述 作业配置了每日调度，但是实例没有作业运行调度记录。 原因分析 原因1：确认作业是否启动调度，如果没有启动，不会进行调度。 原因2：实例查询时间区间过大，如果配置有依赖作业或者自依赖，查看历史作业实例是否因为依赖失败，导致等待运行，没有生成新作业实例。
如何使用表达式方式获取当前时间？ 问题描述 如何使用表达式方式获取当前时间？ 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
