检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务(OBS)”后单击“下一步”,配置OBS连接参数,如图3所示。 图3 创建OBS连接 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点:配置为OBS的域名或IP地址,例如“obs.myhuaweicloud
CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点:传输可靠性高,受专线以及网络质量影响较小。
数据治理组织架构 数据治理组织架构框架 数据治理组织职责
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
数据架构 码表和数据标准有什么关系? 关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
数据服务 数据服务SDK支持的语言? 创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API?
资源管理API 创建资源 修改资源 查询资源详情 删除资源 查询资源列表 父主题: 数据开发API(V1)
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
目的端为关系数据库 JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
概览 总览统计信息 模型统计信息 关系建模统计信息 标准覆盖率统计信息 父主题: 数据架构API
API管理接口 创建API 查询API列表 更新API 查询API信息 批量删除API 发布API API操作(下线/停用/恢复) 批量授权API(专享版) 调试API API授权操作(授权/取消授权/申请/续约) 查看API发布信息(专享版) 查看API不同操作对应的实例信息(专享版)
目录接口 获取作业目录 父主题: 数据质量API