检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台，该平台将应用多个云服务，结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用，需要建立统一的运维系统，实时接收应用的告警信息。 当告警级别达到严重及以上级别时，向用户发送一条消息。
制槽（Postgres数据源不支持自动删除复制槽）解决，手动删除请参见PostgreSQL数据源如何手动删除复制槽？。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。 其他限制 目标数据库的block_size参数值必须大于源库中的对应参数值。
若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据
增量同步阶段： 增量同步过程中，不支持指定位置加列的DDL操作（例如ALTER TABLE ddl_test ADD COLUMN c2 AFTER/FIRST c1;），Migration会删除AFTER/FIRST属性，可能会导致列顺序不一致。 增量同步过程中，执行不幂等的DDL可能导致数据不一致（例如ALTER
步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
不支持开启SASL_SSL的Kafka实例。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。 增量同步阶段： 整库场景下需要根据同步的Topic分区数对应增加作业并发数，否则可能导致任务内存溢出。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。
若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据
脚本/MyBatis方式生成API 本文将为您介绍如何通过脚本或MyBatis方式生成API。 为了满足高阶用户的个性化查询需求，数据服务提供了自定义SQL的脚本/MyBatis取数方式，允许您自行编写API的查询SQL，并支持多表关联、复杂查询条件以及聚合函数等能力。 脚本方式：仅支持普通SQL语法。
当前系统支持“新建目录”和“同步主题为目录”两种方式： 选择“新建目录”时，直接在目录处单击，输入目录名称，即可完成目录新建。直接新建目录的最大深度拓展为7层。 图1 新建目录 选择“同步主题为目录”时，在目录处单击，即可将数据架构处的主题同步到目录中（仅支持同步“已发布”状态的主题）
查找汇总表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找汇总表信息，中英文名称支持模糊查询。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数
配置方式生成API 本节介绍如何通过配置方式生成API。 使用配置方式生成数据API简单且容易上手，您不需编写任何代码，通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面，完成数据源的配置。
在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。
创建数据集成作业 本章节将介绍如何创建DataArts Studio数据集成作业。 本例中，需要创建如下三类集成作业： OBS到MySQL迁移作业：为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业：正式业务流程中，需要将MyS
或在映射后的单表“表属性编辑”中配置index.type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新
当前系统支持“新建目录”和“同步主题为目录”两种方式： 选择“新建目录”时，直接在目录处单击，输入目录名称，即可完成目录新建。直接新建目录的最大深度拓展为7层。 图1 新建目录 选择“同步主题为目录”时，在目录处单击，即可将数据架构处的主题同步到目录中（仅支持同步“已发布”状态的主题）
若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据
请联系客服或技术支持人员协助解决。 Cdm.0233 400 提取数据过程异常。原因：%s。 提取数据过程异常。 请联系客服或技术支持人员协助解决。 Cdm.0234 400 载入数据过程异常。原因：%s。 载入数据过程异常。 请联系客服或技术支持人员协助解决。 Cdm.0235 400
业务指标用于指导技术指标，用于定义指标的设置目的、计算公式等，并不进行实际运算，可与技术指标进行关联。而技术指标是对业务指标的具体实现，定义了指标如何计算。 前提条件 在新建业务指标之前，您需要先完成流程设计，具体操作请参见流程设计。 新建业务指标并发布 在DataArts Studio
务上的数据库中。其中，标识符、数据类型、表示格式、值域是数据交换的基础，它们用于描述表的字段元信息，规范字段所存储的数据信息。 本章节介绍如何创建数据标准，创建好的数据标准，可用于在关系建模中新建业务表时与业务表中的字段相关联，从而约束业务表中的字段遵从指定的数据标准。 约束与限制
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
