检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表关联作业算子列表(邀测) 功能介绍 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/table/{guid}/node 表1 路径参数 参数 是否必选
权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单击API名称查看API的完整信息,保存调用地址、请求方法和入参信息。
在逻辑实体列表中,选择需要编辑的逻辑实体,单击“操作”列的“编辑”,进入编辑页面进行编辑。 发布历史 在逻辑实体列表中,选择需要查看发布历史的逻辑实体,单击“操作”列的“更多 > 发布历史”,进入后可查看逻辑实体的发布历史和版本对比。 浏览SQL 在逻辑实体列表中,选择需要预览SQL的逻辑实体,单击“操作”列的“更多
DIS Stream 功能 通过DIS Stream节点查询DIS通道的状态,如果DIS通道运行正常,继续执行后续的节点;如果DIS通道运行异常,DIS Stream将报错并退出,此时如果需要继续执行后续的节点,请配置“失败策略”为“继续执行下一节点”,请参见表2。 参数 用户可参考表1和表2配置DIS
业务资产接口 查询业务资产 查询业务资产目录树 父主题: 数据目录API
是 String 资源ID,查询方法请参见查询资源列表。 返回的id即为 resource_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时,选择需要进行的插入行为操作。 新增:将文件记录直接插入指定的集合。 有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记
规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
导入。如果导入失败,您可以查看失败原因,将模板文件修改正确后,再重新上传。 图6 上次导入结果 管理数据标准 在DataArts Studio数据架构控制台,单击左侧导航树中的“数据标准”,进入数据标准页面。您可以对数据标准进行管理。 普通空间均可查询到“公共层空间”目录下创建的
字段映射:附加字段、字段赋值(常量、变量、UDF)。 自动建表. 定义DDL消息处理策略。 实时同步任务运维 支持异常恢复、暂停恢复、动态增减表、任务监控、配置告警、查看及导出任务日志等运维功能。 同步场景 Migration实时同步功能支持多种拓扑类型的同步场景,用户可根据自身需求进行规划,详细说明可参考以下内容。
击“更多 > 查看授权”,进入API完整信息界面。在“授权信息”页签中,单击“授权”。 在添加授权页面,设置授权的截止时间、选择集群(仅专享版涉及),勾选IAM应用名称,然后单击“确认授权”,完成API的授权。 图1 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。
”模块,进入数据目录页面。 选择“元数据采集 > 任务管理”。 在采集任务页面,可查看所有已创建的采集任务。 表6 管理采集任务 参数名 说明 任务名称 采集任务的名称。 单击采集任务名称,可查看该采集任务的采集策略和调度属性。 数据源类型 数据连接的名称。 调度状态 显示采集任务的调度方式,单击,可进行筛选。
删除敏感数据发现任务会删除对应任务的识别结果,请谨慎操作。 删除操作无法撤销,请谨慎操作。 查看运行实例日志:在敏感数据发现页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“操作 > 查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。
Long 作业实例ID, 获取方法请参见查询作业实例列表 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选:例如{ x : "john" }, { z : 1 },表示查找x=john的所有z字段。 按条件筛选:例如{ "field" : { $gt: 5 } },表示查找field字段中大于5的值。
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 params 否 Object
购买方式请参见:套餐包方式购买数据服务专享集群的增量包。 背景信息 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
在配置周期调度时,您可以通过单击周期调度后面的弹出的使用指南标题内容,确认当前实例为传统周期调度还是自然周期调度。如下图所示,则表明此实例为传统周期调度方式。 图3 查看周期调度使用指南 父主题: 周期调度依赖策略
管理码表 建立好码表后,可以对码表进行查找、编辑、下线或发布等操作。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。您可以对码表进行管理。 普通空间均可查询到“公共层空间”目录下创建的码表,“公共层空间”无法反向查询到普通空间目录下创建的码表。 普通空间仅