-
新建DWS连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
DMS Kafka连接 - 数据治理中心 DataArts Studio
Boolean 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数,表示连接DMS Kafka的用户名。
-
步骤5:数据架构 - 数据治理中心 DataArts Studio
单击左侧导航树中的“配置中心”,进入相应页面后,在“审核人管理”页签,单击“添加”按钮。 选择审核人(工作空间管理员或开发者),输入正确的电子邮箱和手机号,单击“确定”完成审核人添加。 您也可以添加自己当前账号为审核人,在后续提交审批的相关操作中,支持进行“自助审批”。根据需要,可以添加多个审核人。
-
配置HTTP源端参数 - 数据治理中心 DataArts Studio
URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket
-
配置数据仓库服务(DWS)连接 - 数据治理中心 DataArts Studio
模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 是 说明: 启用SSL加密需确保DWS本身已启用SSL加密。 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接
-
DIS连接 - 数据治理中心 DataArts Studio
"name": "linkConfig.endpoint", "value": "https://dis.cn-north-1.myhuaweiclouds.com" },
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
os鉴权。 用户名 是 MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的
-
数据架构示例 - 数据治理中心 DataArts Studio
单击左侧导航树中的“配置中心”,进入相应页面后,在“审核人管理”页签,单击“添加”按钮。 选择审核人(工作空间管理员或开发者),输入正确的电子邮箱和手机号,单击“确定”完成审核人添加。 您也可以添加自己当前账号为审核人,在后续提交审批的相关操作中,支持进行“自助审批”。根据需要,可以添加多个审核人。
-
管理中心 - 数据治理中心 DataArts Studio
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? 创建DWS数据连接,开启SSL连接时测试连接失败? 通过代理方式创建数据连接,一个空间可以创建多个连接吗? 创建DWS连接的时候,连接方式是直接连还是通过代理连比较好?
-
查询API信息 - 数据治理中心 DataArts Studio
求 create_user String API创建者。 create_time Long 创建时间。 update_time Long 更新时间。 manager String API审核人名称。 status String API的状态(共享版)。 枚举值: API_STATUS_CREATED:API创建状态
-
场景介绍 - 数据治理中心 DataArts Studio
使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云)
-
配置DIS连接 - 数据治理中心 DataArts Studio
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dis_link 区域 DIS所在的区域。 - 终端节点 待连接DIS的URL,URL一般格式为:https://Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。
-
权限列表 - 数据治理中心 DataArts Studio
操作解决方案 Y Y N Y N 查询解决方案 Y Y N Y Y 编辑解决方案 Y Y N N N 查询IAM代理 Y Y Y Y Y 更新IAM代理 Y N N N N 操作环境变量 Y Y N N N 查询环境变量 Y Y N Y Y 编辑环境变量 Y Y N N N 操作作业节点
-
步骤2:准备工作 - 数据治理中心 DataArts Studio
建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
Elasticsearch/云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
168.0.2:9200。 linkConfig.safemode 否 Boolean 当选择安全模式认证时,需要输入用户名、密码和选择是否https访问。 linkConfig.user 否 String 对于支持用户名密码鉴权的Elasticsearch,需要在创建连接时配置用户名和密码。
-
SMN - 数据治理中心 DataArts Studio
or Madam, this is an HTTP message.'}", "https": "{'message':'Dear Sir or Madam, this is an HTTPS message.'}", "sms": "This is an SMS message
-
数据集成概述 - 数据治理中心 DataArts Studio
CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端,数据访问操作均由CDM主动发起,对于数据源(如RDS数据源)支持SSL时,会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码,这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。
-
解绑/绑定集群的EIP - 数据治理中心 DataArts Studio
T网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。 已拥有EIP配额,才能绑定EIP。 操作步骤 登录CDM管理控制
-
支持的数据源(2.9.3.300) - 数据治理中心 DataArts Studio
CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS
-
支持的数据源(2.9.2.200) - 数据治理中心 DataArts Studio
CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS