-
使用API时,每个子域名每天可以访问多少次? - 数据治理中心 DataArts Studio
使用API时,每个子域名每天可以访问多少次? 使用API时需注意,每个子域名每天最多可以访问1000次。详细内容请参见发布API。 父主题: 数据服务
-
管理数据连接 - 数据治理中心 DataArts Studio
管理数据连接 新建数据连接 配置DWS数据连接 配置DLI数据连接 配置MRS Hive数据连接 配置MRS HBase数据连接 配置MRS Kafka数据连接 配置MRS Spark数据连接 配置MRS Clickhouse数据连接 配置MRS Hetu数据连接 配置MRS Impala数据连接
-
新建DWS连接 - 数据治理中心 DataArts Studio
数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。
-
开发Python脚本 - 数据治理中心 DataArts Studio
已新增Python脚本,请参见新建脚本。 已新建主机连接,该Linux主机配有用于执行Python脚本的环境。新建主机连接请参见配置主机连接。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_co
-
数据服务专享版发布的API如何绑定公网和域名? - 数据治理中心 DataArts Studio
发布完成后即可在对应的API网关服务中找到该API分组,在API分组详情页面选择“域名管理标签>绑定独立域名”,,输入需要绑定的公网IP和域名。 父主题: 数据服务
-
配置HBase连接 - 数据治理中心 DataArts Studio
HBase 连接MRS上的HBase数据源时,相关参数如表1所示。 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS
-
Elasticsearch/云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
要在创建连接时配置用户名和密码。 linkConfig.password 否 String 登录Elasticsearch的密码。 linkConfig.linkType 是 String 连接类型,用于区分连接的是Elasticsearch或云搜索服务。 父主题: 连接参数说明
-
配置达梦数据库 DM连接 - 数据治理中心 DataArts Studio
配置达梦数据库 DM连接 连接达梦数据库 DM时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
-
OBS连接 - 数据治理中心 DataArts Studio
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置
-
配置Hive连接 - 数据治理中心 DataArts Studio
Apache Hive连接适用于用户在本地数据中心或ECS上自建的第三方Hadoop,其中本地数据中心的Hadoop需通过专线连接。 Apache Hive的连接参数如表3所示。 表3 Apache Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
-
新建数据连接 - 数据治理中心 DataArts Studio
新建数据连接 数据开发模块的数据连接,是基于管理中心的数据连接完成的,创建方法请参考管理数据连接。 查看连接引用 当用户需要查看某个连接被引用的情况时,可以参考如下操作查看引用。 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts
-
创建连接(待下线) - 数据治理中心 DataArts Studio
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 表4 DWS类型的连接配置项说明 参数名 是否必选 参数类型
-
MySQL数据迁移到OBS - 数据治理中心 DataArts Studio
图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”,配置云数据库
-
创建DWS数据连接,开启SSL连接时测试连接失败? - 数据治理中心 DataArts Studio
创建DWS数据连接,开启SSL连接时测试连接失败? 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
-
查询连接详情(待下线) - 数据治理中心 DataArts Studio
Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接详情。 GET /v1/b384
-
配置RDS数据连接 - 数据治理中心 DataArts Studio
配置RDS数据连接 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
-
配置MongoDB连接 - 数据治理中心 DataArts Studio
配置MongoDB连接 MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程
-
配置Redis连接 - 数据治理中心 DataArts Studio
配置Redis连接 Redis连接适用于用户在本地数据中心或ECS上自建的Redis,适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。 使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。
-
MRS HDFS数据迁移到OBS - 数据治理中心 DataArts Studio
集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 连接器类型选择“MRS