检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
例如上图表示:从2023年1月1日0点开始,每月5日、25日的0点自动执行作业,直到2023年12月31日23时59分不再自动执行。 父主题: 在CDM集群中创建作业
API服务传输请求。 GET:请求服务器返回指定资源。 POST:请求服务器新增资源或执行特殊操作。 后端服务HOST 待注册API服务所在的Host,不能以http://或https://开头,并且不包含Path。 后端服务PATH 待注册API服务所在的Path,Path中支
解绑/绑定CDM集群的EIP 操作场景 CDM集群创建完成后,支持解绑或绑定EIP。EIP即弹性公网IP,由虚拟私有云(Virtual Private Cloud,简称VPC)负责其计费。 如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹
创建数据集成作业 本章节将介绍如何创建DataArts Studio数据集成作业。 本例中,需要创建如下三类集成作业: OBS到MySQL迁移作业:为方便演示,需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业:正式业务流程中,需要将MyS
OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接 父主题: 附:公共数据结构
创建规则分组接口 功能介绍 创建规则分组接口 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/group 表1 路径参数 参数 是否必选 参数类型 描述 project_id
from-link-name 是 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date
创建工作空间 功能介绍 创建工作空间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/workspaces/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
然后单击“创建标签”来创建新的预定义标签,具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 另外,工作空间最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 创建后操作 创建后需要管理员手工新建数据连接、配置环境隔离,并按照组织分
创建数据连接 功能介绍 创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
创建数据标准模板 功能介绍 创建当前工作空间下的数据标准模板自定义项。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id
源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题: 附:公共数据结构
创建采集任务 功能介绍 创建采集任务。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如何使用表达式方式获取当前时间? 日志提示解析日期格式失败时怎么处理? 字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too long for type character varying怎么处理? OBS导入数据到SQL Server时出现Unable
管理集群标签 操作场景 CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理
如果您需要使用数据服务专享版,需要先购买专享版集群。 新建数据服务审核人 在创建API前,需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中,生成API支持两种方式(配置方式生成API和脚本/MyBatis方式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。
如何在IAM中创建细粒度权限策略? 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的
是否支持批量创建作业? 问题描述 CDM是否支持批量创建作业? 解决方案 CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSO
测试创建数据连接 功能介绍 测试创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections/validation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项