检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成(实时作业) 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 项目ID 是 适用组件勾选数据集成后,呈现此参数。 DLI服务所在区域的项目ID。 项目ID表示租户的资源
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
基线运维 基线运维概述 基线运维约束限制 基线实例 基线管理 事件管理 合理配置基线承诺时间和预警余量 父主题: 运维调度
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
数据指标 数据指标概述 指标设计 指标开发 审核中心 配置中心 数据指标应用
购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 访问DataArts Studio实例控制台 创建并配置简单模式工作空间 (可选)升级企业模式工作空间 管理DataArts Studio资源
节点参考 节点概述 节点数据血缘 CDM Job Data Migration DIS Stream DIS Dump DIS Client Rest Client Import GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job
组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
信息架构接口 查询多种类型的表信息 父主题: 数据架构API
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: 数据集成API
购买实例 DataArtsStudio实例一键购买接口 父主题: 管理中心API
消息管理接口 查询消息列表 处理消息 获取消息详情 父主题: 数据服务API
质量作业接口 获取质量作业列表V1 获取质量作业列表 获取质量作业详情 批量删除质量作业 父主题: 数据质量API
工作空间管理 获取工作空间列表 创建工作空间 获取单个工作空间信息 父主题: 管理中心API
对账作业接口 获取对账作业列表 获取对账作业详情 批量删除对账作业 父主题: 数据质量API
码表管理接口 查询码表列表 创建码表 删除码表 修改码表 查看码表详情 查看码表字段值 编辑码表字段值 父主题: 数据架构API
服务目录管理接口 获取当前目录下的所有类型列表 获取当前目录下的API列表 获取当前目录下的目录列表(全量) 更新服务目录 查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表