检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘导入 功能介绍 血缘查询。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lineage/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。 此处支持全新添加标签,也支持选择已有标签。已有标签来源于管理标签。 父主题: 查看工作空间数据地图
DMS Kafka连接参数说明 连接DMS的Kafka队列时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。 KMS密钥 是 通过KMS加解
删除规则模板 Y N N N 操作规则模板 Y N N N 查询规则模板 Y Y Y Y 编辑规则模板 Y N N N 查询运行结果 Y Y N N 新建规则 Y Y N N 删除规则 Y Y N N 操作规则 Y Y Y N 查询规则 Y Y Y Y 编辑规则 Y Y N N 编辑质量评分
查看维度表详情 功能介绍 通过ID查看维度表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置依赖属性 作业配置完成后,保存并提交版本。 单击“执行调度”,启动作业调度。 在“作业监控”里面查看作业运行结果。 图5 查看作业的执行结果 在操作列的“更多”里面,可以查看最近实例DAG,作业实例依赖关系图。 图6 作业实例依赖关系图 父主题: 数据开发进阶实践
单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过) 图7 查看OBS桶返回记录 案例二:通过MRS Spark Python作业实现打印输出"hello
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
查看API不同操作对应的实例信息(专享版) 功能介绍 查看API不同操作对应的实例信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述
DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQ
Presto) Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统(HDF
语句,指定输出哪些数据是异常数据。系统支持对异常表SQL进行语义校验。 查看SQL 单击后可以查看异常表SQL语句。在查看异常表的SQL时,支持查看所创建的SQL和插入的SQL。 查看相同规则 单击后可查看如下相同规则: 能够根据表和字段判断规则的重复性。 提示已存在相关子规则和质量作业,您可看到已有规则。
户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定资源组的下拉框,查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程
”、“Tab”、“|”、“;”。默认选择“,”。 单击“运行”,完成创建数据水印溯源任务。 相关操作 查看溯源结果:在数据水印溯源页面,找到需要查看溯源结果的任务,单击对应任务操作栏中的“查看结果”,即可查看溯源结果。注意,只有溯源成功的任务才会显示溯源信息。 图3 溯源信息 删除任务:在数据水印溯
写和校验。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value PublishVersionVO object CatalogVO信息。
连接属性 否 常见配置举例如下: connectTimeout=360000与socketTimeout=360000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql
止”,最后单击“导入”。 图17 对账作业导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。 图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。
OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion
选择一个或多个需导入的数据表。 图8 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功,单击“关闭”。如果逆向失败,您可以查看失败原因,问题解决后,选中失败的表,然后单击“重新逆向”进行重试。 图9 逆向结果 导出码表 Excel导出码表时,码表名称需要限制在32个字符以内。