-
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? - 数据治理中心 DataArts Studio
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本:
-
如何在IAM中创建细粒度权限策略? - 数据治理中心 DataArts Studio
如何在IAM中创建细粒度权限策略? 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的
-
与其他云服务的关系 - 数据治理中心 DataArts Studio
在非法或越权操作,完善服务安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器(Elastic Cloud Server,简称ECS)进行CDM集群和数据服务集群的创建,另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。
-
MySQL整库迁移到RDS服务 - 数据治理中心 DataArts Studio
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理
-
数据架构支持哪些数据建模方法? - 数据治理中心 DataArts Studio
勾勒出企业的业务信息蓝图,是IT和业务人员沟通的桥梁。逻辑数据模型是一组规范化的逻辑表结构,逻辑数据模型是根据业务规则确定的,关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正
-
注册API - 数据治理中心 DataArts Studio
设置后端超时时间。 后端服务参数 请求参数位置支持Path、Header、Query,不同的请求方式所支持的可选参数位置不一样,请根据产品上提供的可选项按需选择。 常量参数 常量参数即参数值是固定的参数,对调用者不可见,API调用时不需传入常量参数,但后台服务始终接收这里定义好的常
-
步骤3:数据集成 - 数据治理中心 DataArts Studio
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
-
CDM迁移数据到DWS时如何选取分布列? - 数据治理中心 DataArts Studio
CDM迁移数据到DWS时如何选取分布列? 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。 图1 选取分布列 由于分布列的选取,对于DWS/FusionInsight
-
导入导出 - 数据治理中心 DataArts Studio
在主题目录中选择对象,然后单击“更多 -> 导出”。 图4 导出表或DDL 在弹出对话框中,选择需要导出的对象。 导出的Excel表可以用于导入操作。 图5 导出表 导出DDL时,会将所选表的DDL语句导出成txt文件。 图6 导出DDL 单击“确定”。 导入/导出维度 导入维度
-
Spark Python脚本如何引用Python脚本? - 数据治理中心 DataArts Studio
o.py 在作业算子MRS Spark Python中引用Python脚本: 在运行程序参数中配置参数--py-files和参数值hdfs:///tmp/pyspark/hello.py。 图2 算子MRS Spark Python中引用Python脚本 该示例是将脚本上传到HDFS路径,上传到OBS路径也适用。
-
CDM迁移近一个月的数据 - 数据治理中心 DataArts Studio
详细的数据统计。 父主题: 案例:车联网大数据业务上云
-
规范化的数据如何使用? - 数据治理中心 DataArts Studio
规范化的数据如何使用? 规范化的数据可以作为BI的基本信息,也可以作为上层应用的源数据,也可以接入各类数据可视化报表等。 父主题: 数据架构
-
步骤4:元数据采集 - 数据治理中心 DataArts Studio
单击“下一步”。 图3 新建采集任务-基本配置 图4 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图5 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图6 启动调度 在左侧
-
嵌入数据水印 - 数据治理中心 DataArts Studio
批量删除”。 运行状态为正在“执行中”的任务不允许被删除。 删除操作无法撤销,请谨慎操作。 运行或调度任务:在数据水印嵌入页面,单击对应任务操作栏中的“运行”或“更多>启动调度”,运行或调度任务。 您可以通过调度周期区分该任务是单次调度还是周期调度任务。 查看运行实例日志:在数据
-
OBS数据迁移到云搜索服务 - 数据治理中心 DataArts Studio
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
-
数据服务概览 - 数据治理中心 DataArts Studio
数据服务概览 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理,帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、
-
同步IAM用户到数据源 - 数据治理中心 DataArts Studio
由于DWS不支持用户组,因此IAM用户组同步到DWS时,会以“iam_group_用户组id”的命名格式在DWS上创建用户,并根据IAM上已删除的用户组在DWS上删除对应的“iam_group_用户组id”用户。因此DWS上应避免创建以“iam_group_”为前缀的用户,防止用户被误删。 新建用户同步任务
-
如何确认质量作业或对账作业已经阻塞? - 数据治理中心 DataArts Studio
如何确认质量作业或对账作业已经阻塞? 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: 数据质量
-
CDM迁移作业的抽取并发数应该如何设置? - 数据治理中心 DataArts Studio
些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
-
审核申请 - 数据治理中心 DataArts Studio
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。