检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标数据库后多的列为null,不符合目标数据库要求。 操作步骤 本小节以RDS for MySQL到MRS Hudi的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API
已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 高级属性 查询筛选 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。
识别规则接口 查询识别规则列表 创建识别规则 查询特定识别规则 删除识别规则 修改识别规则接口 批量删除识别规则接口 修改识别规则状态接口 创建组合识别规则 修改组合识别规则 组合识别规则测试 父主题: 数据安全API
务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。 不同链路、数据库、权限要求不同,可参考以下链接,选择对应链路查看使用须知:使用教程。 连接准备 准备DataArts Studio管理中心数据连接。 说明: 数据连接配置中必须勾选数据集成选项。 数据连
规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use Proxy
作业状态轮询时间(秒) 是 设置轮询时间(30~60秒、120秒、180秒、240秒、300秒),每隔x秒查询一次作业是否执行完成。 作业运行过程中,根据设置的作业状态轮询时间查询作业运行状态。 最长等待时间 是 设置作业执行的超时时间,如果作业配置了重试,在超时时间内未执行完成,该作业将会再次重试。
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时,选择需要进行的插入行为操作。 新增:将文件记录直接插入指定的集合。 有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记
管理码表 建立好码表后,可以对码表进行查找、编辑、下线或发布等操作。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。您可以对码表进行管理。 普通空间均可查询到“公共层空间”目录下创建的码表,“公共层空间”无法反向查询到普通空间目录下创建的码表。 普通空间仅
保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
进入数据架构的“配置中心 > 审核人管理”页面,可以对审核人进行管理。 图2 审核人管理 查找审核人 在审核人列表的右上方,输入所要查找的审核人名称,然后单击按钮,即可查找指定的审核人。 删除审核人 在审核人列表中,查找所要删除的审核人,然后选中该审核人,再单击“删除”按钮,即可删除指定的审核人。
获取当前目录下的API列表 获取当前目录下的目录列表(全量) 更新服务目录 查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表 父主题: 数据服务API
'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选:例如{ x : "john" }, { z : 1 },表示查找x=john的所有z字段。 按条件筛选:例如{ "field" : { $gt: 5 } },表示查找field字段中大于5的值。
API流量限制(次/min) 用户流量限制(次/min) 查询数据连接列表 查询数据连接列表。 12000 60 创建数据连接 创建数据连接。 6000 40 测试创建数据连接 测试创建数据连接。 3000 20 查询单个数据连接信息 查询单个数据连接信息。 12000 60 更新数据连接信息
进入数据指标的“配置中心 > 审核人管理”页面,可以对审核人进行管理。 图3 审核人管理 查找审核人 在审核人列表的右上方,输入所要查找的审核人名称,然后单击按钮,即可查找指定的审核人。 删除审核人 在审核人列表中,查找所要删除的审核人,然后选中该审核人,再单击“删除”按钮,即可删除指定的审核人。
数据质量监控 新建数据质量规则 新建数据质量作业 新建数据对账作业 数据目录 在DataArts Studio数据目录模块中,您可以查看数据地图。 数据地图 查看工作空间内的数据资产 数据安全 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。在数据安全模块,您可以进行访问权限管理、敏感数据识别、隐私保护管理等操作。
DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否