检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库部署在其他云 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制 资源组
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
配置数据服务审核中心 数据服务平台的审核中心,提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时,会触发审核,审核机制如下: 当发布人不具备审核人权限时,发布API时需要提交给审核人审核。 当发布人具备审核人权限时,可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
数据治理组织架构 数据治理组织架构框架 数据治理组织职责
数据治理度量评估体系 数据治理实施方法论 数据治理度量维度 数据治理度量评分规则
请确认调用时参数x-api-id的值,是否正确(该值为所访问API的ID,请向此API的提供者获取) 20200630版本后发布的API: 确认请求的url和实际url是否相同。 若为专享版刚发布的API,请稍作等待,API下发至集群存在短暂的延时。 其他(数据同步异常): 停用/下线对应API,然后恢复/发布。
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订
数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka
数据架构 码表和数据标准有什么关系? 关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
API传参是否支持传递操作符? 工作空间内的API配额已满,无法新建API怎么解决? 数据服务专享版的API如何通过公网访问? 数据服务专享版的API怎样通过域名访问? 如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题?
表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。
fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。 EARLIEST:最小偏移量,即最老的数据。 fromJobConfig.isPermanency 是 Boolean 是否永久运行。
概览 总览统计信息 模型统计信息 关系建模统计信息 标准覆盖率统计信息 父主题: 数据架构API
API授权操作(授权/取消授权/申请/续约) 查看API发布信息(专享版) 查看API不同操作对应的实例信息(专享版) 查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题: 数据服务API
目录接口 获取作业目录 父主题: 数据质量API
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
指标资产接口 查询指标资产目录树 查询指标资产 父主题: 数据目录API
识别规则接口 查询识别规则列表 创建识别规则 查询特定识别规则 删除识别规则 修改识别规则接口 批量删除识别规则接口 修改识别规则状态接口 创建组合识别规则 修改组合识别规则 组合识别规则测试 父主题: 数据安全API
规则分组接口 查询规则组列表 创建规则分组接口 查询规则组 修改规则分组接口 删除规则分组接口 父主题: 数据安全API