检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis连接 介绍 通过Redis连接,可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
String Kerveros认证所需的Principal,您也可以联系管理员获取此账号。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。 linkConfig.serviceType
如何查看DataArts Studio的版本? 您可以在DataArts Studio实例卡片中查看DataArts Studio版本,如下图所示。 图1 DataArts Studio实例卡片 父主题: 咨询与计费
MongoDB连接 介绍 通过MongoDB连接,可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
免费试用即将到期,如何续费? 当免费试用的DataArts Studio实例即将到期时,您可以购买DataArts Studio实例以继续使用。您可以登录DataArts Studio控制台,找到即将到期的免费试用的DataArts Studio实例,在试用的DataArts S
查询告警通知记录 功能介绍 此接口可以查询指定时间段内的告警通知记录。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/alarm-info?start_time={start_
审批流程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。
发布API 功能介绍 发布API。API只有发布后,才能够被调用。API发布时,可以将API发送至指定网关。 共享版,必须发送至API网关共享版。 专享版,可以依据自身需要,选择将API发送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。
I授权给应用后,才能获得认证信息以用于API调用。 一个APP认证方式的API可以授权给多个APP类型的应用,多个APP认证方式的API也可以授权给同一个APP类型的应用。API授权后,在调用时就可以使用任意授权应用的密钥对(AppKey和AppSecret)进行安全认证,对调用者本身的用户身份无要求。
配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败
如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期
数据管理流程 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意,在MRS API连接方式下,不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。
当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。 约束与限制 数据集成中的
设置作业标签 功能介绍 此接口可以设置作业标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/jobs/{job_name}/tags 参数说明 表1 URI参数说明 参数名
查询实例运行状态 功能介绍 此接口可以查询实例运行状态,包括当天、昨天、前天以及近7天的实例状态情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-statistics-overview
Jar包自定义参数 对于开发的自定义Jar包,可以在此处对参数进行输入替换 input 否 String 输入路径 MRS Spark作业输入数据路径,可以为HDFS或者是OBS路径。 output 否 String 输出路径 MRS Spark作业输出数据路径,可以为HDFS或者是OBS路径。 programParameter
创建资源 功能介绍 创建一个新资源,作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/resources
OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 说明: CDM集群和OBS桶不在同一个
配置任务组 通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。