检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小,以更新数据为主,新增
IMMEDIATELY:立即关机。 GRACEFULLY:优雅关机。 delayTime 否 Integer 关机时延,仅在stopMode为“GRACEFULLY”生效,单位:秒。该值为-1时,表示等待所有作业完成,并停止接受新作业。该值为大于0的任意值表示等待该时长后关机,并停止接受新作业。 响应参数 状态码:
6000 40 测试创建数据连接 测试创建数据连接。 3000 20 查询单个数据连接信息 查询单个数据连接信息。 12000 60 更新数据连接信息 更新数据连接信息。 6000 40 删除数据连接 删除数据连接。 6000 40 购买实例 表3 购买实例 API 说明 API流量限制(次/min)
update_by String 更新人,只读。 create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式
查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效,每天2点调度一次作业。 执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后,保存
各领域数据治理工作组:在各领域数据范围内进行数据治理的工作,依据数据治理委员会制定的数据治理方法和总则,制定本领域数据治理目标和工作计划,负责领域数据资产的看护,维护更新相应数据标准和及相关元数据,设计本领域数据度量和规则,监控收集数据质量问题并持续改进提升,主动升级数据相关问题。最终完成领域内数据资产的看护,并支撑数据治理目标的达成。
应用secret。 register_time Long 创建时间。 update_time Long 更新时间。 create_user String 创建者。 update_user String 更新者。 app_type String 应用类型。 枚举值: APP:APP类型应用 IAM:IAM类型应用
URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket
Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。IAM用户授权完成后,访问DataArts Studio时,需要先切换至授权区域。 创建用户并加入用户组。 在
置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载,从中获取mysql-connector-java-5
create_user String 队列加入此的操作人。 update_time Long 当前空间下管理的队列更新时间。 update_user String 当前空间下管理的队列更新人。 project_id String 项目id。 description String 当前空间分配资源附加的描述信息。
hour_id - BIGINT 不选 不选 不勾选 不勾选 6 时 hour - BIGINT 不选 不选 不勾选 不勾选 7 日id day_id - BIGINT 不选 不选 不勾选 不勾选 8 日 day - STRING 不选 不选 不勾选 不勾选 9 月id month_id
nector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接。 update-date 否 Long 更新连接的时间。 enabled 否 Boolean 是否激活连接,默认为“true”。
置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。 后续操作 修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。 删除:单击“删除”,可以删除已配置好的任务组。如果任务组被作业引用,无法删除。 查看引用:单击“查看引用”,可以查看该任务组被引用的详细信息。
分页获取规则模板列表。 300 40 创建规则模板 创建规则模板。 300 40 获取规则模板详情 获取规则模板详情。 300 40 更新规则模板 更新规则模板 300 40 批量删除规则模板 批量删除规则模板。 300 40 质量作业接口 表4 质量作业接口 API 说明 API流量限制(次/10s)
删除数据连接 dataWarehouse deleteDataWarehouse 创建工作空间 workspace createWorkspaces 更新工作空间 workspace updateWorkspaces 删除工作空间 workspace deleteWorkspaces 冻结工作空间
是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 否 {HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}
Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。IAM用户授权完成后,访问DataArts Studio时,需要先切换至授权区域。 创建用户并加入用户组。 在
致列顺序不一致。 增量同步过程中,执行不幂等的DDL可能导致数据不一致(例如ALTER TABLE ddl_test ADD COLUMN c3 timestamp default now();),Migration会因数据库函数执行结果不幂等导致最终数据不一致。 增量同步过程中
“自动重试”为是时显示该参数。 120秒 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据,当脏数据过多时,会影响同步任务的整体同步速度。 链路是否支持写入脏数据,以实际界面为准。 否:默认为否,不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。