检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包括结构化、半结构化和非结构化数据。 数据处理工具，则分为两大类： 第一类工具，聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力
不支持开启SASL_SSL的Kafka实例。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。 增量同步阶段： 整库场景下需要根据同步的Topic分区数对应增加作业并发数，否则可能导致任务内存溢出。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。
在需要下线的汇总表右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 汇总表下线后，API的如何处理由客户在数据服务中根据实际情况决定，数据架构侧不会对API做任何处理。 关联质量规则 在汇总表列表中，勾选所需要关联质量规则的汇总表，
新建汇总表 功能介绍 根据入参，手动创建汇总表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”，也就是没有被加工处理的数据。在数据管理的过程中，源数据一般是指直接来自源文件（业务系统数据库、线下文件、IoT等）的数据，或者直接复制源文件的“副本数据”。 数据连接 定义访问数据实
或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新
行DDL操作，否则可能导致任务异常。 增量同步阶段： 增量同步过程中，分库分表场景下，在多个分表执行的DDL，会同步多条数据到Kafka的Topic中。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。 其他限制 重
个系统中的数据以整个企业角度按主题进行相似性组合和合并，并进行一致性处理，为数据分析决策服务，但是并不能直接用于分析决策。 用户在关系建模过程中，可以从以下三个层次去设计关系模型，这三个层次是逐层递进的，先设计概念模型，再进一步细化设计出逻辑模型，最后设计物理模型。 物理模型：是
），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。
更新汇总表 功能介绍 更新汇总表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
注册API 本文将为您介绍如何将已有的后端服务API，借助数据服务统一注册发布到API网关，与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册，包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制
#、PHP、C++、C、Android等多种语言，可帮助您简单、快速地通过数据API获取到开放数据。 本章以Java SDK为例，为您介绍如何使用SDK调用APP认证方式的API，主要包含如下几步： 获取APP和API信息：准备APP和API关键信息，用于API调用。 获取SDK包：下载SDK包并进行完整性校验。
通过JavaScript SDK包中的demo.html手动生成认证信息，再使用API工具调用。 本章节以Postman工具为例，为您介绍如何使用API工具调用APP认证方式的API，主要包含如下几步： 获取APP和API信息：准备APP和API关键信息，用于API调用。 获取JavaScript
），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。
字母或下划线开头，中间字符可以是字母、数字、下划线、$。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。 MongoDB实时数据同步不支持单副本的数据源。 不支持在运行过程中修改MongoDB库名、集合名。 不支持自动建表，需要手动在DWS目标端建立接收表。
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
增量同步阶段： 增量同步过程中，不支持指定位置加列的DDL操作（例如ALTER TABLE ddl_test ADD COLUMN c2 AFTER/FIRST c1;），Migration会删除AFTER/FIRST属性，可能会导致列顺序不一致。 增量同步过程中，执行不幂等的DDL可能导致数据不一致（例如ALTER
置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时，可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注：如果配置了VPC对等连接，可能
查看汇总表详情 功能介绍 通过ID查看汇总表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/aggregation-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换，目前支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
