检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rk作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2.10/1.1.1/spark-examples_2
表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发
limit 10 图2 脚本(top_rating_movie) 关键参数说明: 数据连接:步骤4中创建的DWS数据连接。 数据库:步骤6中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。
JDBC即Java DataBase Connectivity,java数据库连接;JDBC提供的API可以让JAVA通过API方式访问关系型数据库,执行SQL语句,获取数据。 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。
project 如果使用maven构建,SDK包中“java-sdk-core-x.x.x.jar”的maven仓库地址为https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/,配置maven源的方法可参见https://bbs
智能数据管理能力的一站式治理运营平台,包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
ble目的端参数。 是 Redis 清除数据库 在导入数据前清除数据库数据。 是 DDS 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 mongodb 迁移行为 选择新增或替换。 - 如果是关系型数据库整库迁移,则作业参数配置完成后,单击“下一步
HDFS连接 介绍 通过HDFS连接,可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件,支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":
在脚本开发导航栏,选择,右键单击数据连接名称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和下划
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗?
ORACLE数据库系统是以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一个
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
相关操作 修改数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要修改的数据库模式,右键单击数据库模式名称,选择“修改”后,在弹出的页面中修改数据库模式的信息。 删除数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要删除的数据库模式,右键单击数据库模式名称,选择“
Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时,具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。 Oracle 连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。 分库
权限点 管理员 开发者 运维者 访客 查询集群列表(MRS&DWS&CDM) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y Y
关系型数据库包括:云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼容Influx、Redis、Mongo以及Cassandra多种协议)等。
Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMA_E
mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数