检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段类型:目的端Hudi表新增字段的类型。 字段值:目的端Hudi表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符。 内置变量 源端host ip地址:source.host。 源端schema名称:mgr.source.schema。 源端table名称:mgr.source.table。
型的长度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符。 内置变量 源端host ip地址:source.host。 源端schema名称:mgr.source.schema。 源端table名称:mgr.source.table。
环境。 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
数据库账号权限 类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 目标数据库连接账号 MRS用户需要拥有Kafka对应Topic的读写权限,即必须属于ka
"wk.hive_02@hive.192.168.0.96-mrs_3x_autotest_do_not_del.0833a5737480d53b2f25c010dc1a7b88-workspace -b88c445407b24283aa949f9833a38fd8",
30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 package com.huaweicloud.sdk.test; import com.huaweicloud
error_msg String 错误描述。 请求示例 查询ADMIN创建的已发布的脚本类API信息。 /v1/0833a5737480d53b2f250010d01a7b88/service/apis?api_type=API_SPECIFIC_TYPE_SCRIPT&publ
审批人姓名,需要被添加到相应的空间中,并且该用户须是管理员、开发者,或者是有审批权限的角色。 user_id 是 String 审批人ID。 email 否 String 邮箱地址。 phone_number 否 String 电话号码。 email_notify 否 Boolean 邮件通知。 sms_notify
OFFLINE: 已下线 REJECT: 已驳回 dimension_group 否 String 依据维度颗粒度查维度属性。 atomic_index_id 否 String 依据原子指标ID查维度属性,ID字符串。 l3_id 否 String 业务对象l3的ID,ID字符串。 begin_time
30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 package com.huaweicloud.sdk.test; import
支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数
配置离线处理集成作业 数据集成支持创建离线作业,通过在界面勾选源端数据和目的端数据,并结合为其配置的参数,实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。 本文为您介绍离线同步任务的常规配置,各数据源配置存在一定差异,请以配置作业源端参数及配置作业目的端参数为准。
dimension_id 否 String 依据维度ID查维度属性,ID字符串。 dimension_group 否 String 依据维度颗粒度查维度属性。 atomic_index_id 否 String 依据原子指标ID查维度属性,ID字符串。 all_metrics 否 Boolean
写入数据时所用的文件格式(二进制除外),支持以下文件格式: CSV_FILE:按照CSV格式写入数据。 BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。 toJobConfig
DLI连接参数说明 连接数据湖探索(DLI)服务时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
error_code String 错误码。 error_msg String 错误描述。 请求示例 下载EXCEL模板。 /v1/0833a5737480d53b2f250010d01a7b88/service/export/excel-template 响应示例 状态码: 200 下载EXCEL模板成功。
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。