-
(可选)购买DataArts Studio功能增量包 - 数据治理中心 DataArts Studio
考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。 说明: 开启IPv6双栈后,仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段,则需要在虚拟私有云VPC服务中开启。
-
管理脱敏算法 - 数据治理中心 DataArts Studio
掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码,支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。 电话号码掩码 掩码电话号码。 不支持。 日期类型掩码
-
查询集群实例信息 - 数据治理中心 DataArts Studio
payModel Integer 付费模式: 0:按需 1:包周期 publicIp String 集群绑定的公网地址 trafficIp String 集群的内网地址 trafficIpv6 String 集群的内网IPv6地址 cluster_id String 集群ID 表5 flavor
-
定义识别规则 - 数据治理中心 DataArts Studio
系统内置了80+条敏感数据识别规则,可对个人敏感信息(银行卡、信用卡等)、个人基本资料(手机号码、电子邮箱等)、网络身份标识信息(IPv4地址、IPv6地址等)等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后,可输入测试数据,测试能否通过内置规则识别。
-
查询集群概览信息列表 - 数据治理中心 DataArts Studio
集群名称。 description String 集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id
-
查询集群详情信息列表 - 数据治理中心 DataArts Studio
集群名称。 description String 集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id
-
查询集群详情信息 - 数据治理中心 DataArts Studio
集群名称。 description String 集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id
-
开发SQL脚本 - 数据治理中心 DataArts Studio
开发SQL脚本 数据开发支持对SQL脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 数据开发模块支持如下类型SQL脚本。而不同数据源的SQL语法有所差异,开发SQL语句前请预先了解各数据源的语法规则。 DLI SQL脚本:请参见SQL语法参考。
-
开发Python脚本 - 数据治理中心 DataArts Studio
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
-
开发Shell脚本 - 数据治理中心 DataArts Studio
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见配置主机连接。 连接主
-
配置云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 安全模式认证
-
MySQL数据迁移到DWS - 数据治理中心 DataArts Studio
程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有DWS数据库的读、写和删除权限。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
-
MySQL数据迁移到OBS - 数据治理中心 DataArts Studio
DM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
-
OBS数据迁移到云搜索服务 - 数据治理中心 DataArts Studio
创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通了云搜索服务,且获取云搜索服务集群的IP地址和端口。 创建CDM集群 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts S
-
CSS - 数据治理中心 DataArts Studio
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
-
Oracle数据迁移到DWS - 数据治理中心 DataArts Studio
创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业 前提条件 已购买DWS集群,并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有DWS数据库的读、写和删除权限。 已获取Oracle数据库的IP、数据库名、用户名和密码。
-
MRS HDFS数据迁移到OBS - 数据治理中心 DataArts Studio
迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经购买了MRS。 拥有EIP配额。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts
-
Oracle数据迁移到云搜索服务 - 数据治理中心 DataArts Studio
le迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Oracle连接 创建迁移作业 前提条件 已经开通了云搜索服务,且获取云搜索服务集群的IP地址和端口。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地
-
通过数据开发实现数据增量迁移 - 数据治理中心 DataArts Studio
//cdm.cn-north-1.myhuaweicloud.com/cdm/v1.0/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job”。 HTTP方法