检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
instances Array of ClusterDetailInstance objects 集群的节点信息,请参见instances参数说明。 azName String az名称。 dbuser String 数据库用户。 flavorName String 规格名称。
datastore Datastore object 集群信息,请参见datastore参数说明。 dbuser String 数据库用户,这里为cdm。 payModel Integer 付费模式: 0:按需。 1:包周期。
查询集群详情信息 功能介绍 查询集群详情信息。 调用方法 请参见如何调用API。
集群管理接口 查询集群概览信息列表 查询集群详情信息列表 查询集群详情信息 查询数据服务集群访问日志列表 开启数据服务集群OBS日志转储 开启数据服务集群LTS日志转储 父主题: 数据服务API
云数据库 PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。
records Array of InstanceAccesslog objects 访问日志列表。 表5 InstanceAccesslog 参数 参数类型 描述 id String 集群ID。 request_id String 请求ID。
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录
hive.storeFormat=textfile:关系型数据库迁移到Hive时,自动建表默认为orc格式。如果需要指定为textfile格式,可增加此配置。parquet格式同理,hive.storeFormat属性值指定为parquet格式即可。
开启数据服务集群LTS日志转储 功能介绍 开启数据服务集群LTS日志转储。 调用方法 请参见如何调用API。
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。
查询集群的企业项目ID 功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。
查询集群概览信息列表 功能介绍 查询集群概览信息列表。 调用方法 请参见如何调用API。
查询集群详情信息列表 功能介绍 查询集群详情信息列表。 调用方法 请参见如何调用API。
在脚本开发导航栏,选择,右键单击数据连接名称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。
表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架