-
配置主机连接 - 数据治理中心 DataArts Studio
默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考“查看云服务器详细信息”获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。
-
数据集成概述 - 数据治理中心 DataArts Studio
API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务,具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端,
-
CDM迁移近一个月的数据 - 数据治理中心 DataArts Studio
64核/128G 40/36 Gbit/s 64 - 其他场景中,可根据情况选择多个CDM集群同时迁移,加快迁移效率。MRS HDFS多副本策略会占用网络带宽,影响迁移速率。 华为云CDM创建连接 创建2个CDM集群: DataArts Studio实例中已经包含一个CDM集群(试用版除外)
-
约束与限制 - 数据治理中心 DataArts Studio
HD和Apache Hadoop数据源在用户本地数据中心部署时,由于读写Hadoop文件需要访问集群的所有节点,需要为每个节点都放通网络访问。 推荐使用云专线服务,解决网络访问的同时,还可以提升迁移速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时,要求字段类型必须是如下
-
ETL Job - 数据治理中心 DataArts Studio
当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。 须知: DLI到DWS端的数据转换: 因为数据开发模块调用DWS的集群时,需要走网络代理。所以导入数据到DWS时,需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时,DWS的表需要先创建好。 DLI
-
步骤1:准备工作 - 数据治理中心 DataArts Studio
DWS集群与DataArts Studio实例网络互通,DWS集群需满足如下要求: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts
-
产品功能 - 数据治理中心 DataArts Studio
心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。 图6 数据服务架构图 数据安全:全方位安全保障 网络安全 基于网络隔离、安全组规则以及一系列安全加固项,实现租户隔离和访问权限控制,保护系统和用户的隐私及数据安全。 用户权限策略 基于角色的访问控制
-
常见错误码参考 - 数据治理中心 DataArts Studio
无法连接FTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 无法连接SFTP服务器。原因:%s。 可能是由于网络不通、安全组或防火墙规则未放行
-
数据安全治理维度 - 数据治理中心 DataArts Studio
数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过终端防泄露技术、邮件防泄露技术、网络防泄露技术,防止敏感数据在违反安全策略规定的情况下流出企业。 API安全管理相关工具平台提供内部接口和外部接口的安全管控和监控审计能力,保障数据传输接口安全。
-
定义识别规则 - 数据治理中心 DataArts Studio
规则类型选择“内置”,呈现此参数。 系统内置了80+条敏感数据识别规则,可对个人敏感信息(银行卡、信用卡等)、个人基本资料(手机号码、电子邮箱等)、网络身份标识信息(IPv4地址、IPv6地址等)等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后
-
MRS HDFS数据迁移到OBS - 数据治理中心 DataArts Studio
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据
-
CDM与其他数据迁移服务有什么区别,如何选择? - 数据治理中心 DataArts Studio
PB级数据上云,通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别
-
Oracle数据迁移到DWS - 数据治理中心 DataArts Studio
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与DWS集群所在的网络一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理
-
SDK调用常见错误码/错误信息 - 数据治理中心 DataArts Studio
timeout 后端超时(API网关请求维持50秒后未收到返回结果, 会返回此错误信息) 请先确认数据服务访问日志,如果访问日志中有数据(数据略有延迟),则说明数据源取数时间过长,请尽量优化取数sql逻辑。 如果访问日志中无数据,请确认(共享版:数据服务gateway/专享版:数据服务集群)是否运行中。
-
基线运维概述 - 数据治理中心 DataArts Studio
上下游依赖关系确定监控范围,根据该监控范围内任务的运行情况触发基线报警或事件报警。基线运维包含的功能如下: 关键任务失败提前告警 关键任务延迟提前告警 关键路径分析 关键任务优先调度 关键任务告警 配置错误立即告警 关键作业全链路版本对比 报警机制 基线报警是对开启状态且打开告警
-
MySQL数据迁移到DWS - 数据治理中心 DataArts Studio
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与DWS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访
-
订阅动态脱敏策略 - 数据治理中心 DataArts Studio
Kafka消息不满足消息格式:则记录同步失败消息日志,继续消费下一条消息,最终状态为部分失败或者同步失败。 Kafka消息合法,但是由于网络资源等原因消费失败:触发Kafka重试机制,重试3次,间隔分别为4、6、9s,如果依然失败,则记录日志,终止此次调度。 Kafka消息合法
-
数据集成API错误码 - 数据治理中心 DataArts Studio
无法连接FTP服务器。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 400 无法连接SFTP服务器。 无法连接SFTP服务器。 可能是由于网络不通、安全组或防火墙
-
步骤1:准备工作 - 数据治理中心 DataArts Studio
对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数,创建一个名称为“fast-demo”的OBS桶。 为保证网络互通,OBS桶区域请选择和DataArts Studio实例相同的区域。如果需要选择企业项目,也请选择与DataArts Studio实例相同的企业项目。
-
新建数据表 - 数据治理中心 DataArts Studio
是 填写列名,列名不能重复。 数据分类 是 选择数据类型的类别: 数值类型 货币类型 布尔类型 二进制类型 字符类型 时间类型 几何类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 对象标识符类型 类型 是 选择数据类型,具体说明请参见《数据仓库服务开发指南》的数据类型。