检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源”界面,设置OBS数据源的基本信息,具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 OBS:OBS是一个华为云基于对象的海量存储服务,为客户提供海量、安全、低成本的数据存储能力。 数据源名称 自定义数据源名称,建议按照一定的命名规则填写任务名称,方便快速识别和查找。要求长度范围为2位~50位。
连接地址 FTP服务器的IP地址。 端口 FTP服务器端口。 连接模式 主动:FTP服务器主动连接客户端的数据端口。 被动:FTP服务器被动等待客户端连接自己的数据端口。 用户名/密码 登录FTP服务器的用户名和密码。 文件路径 下载数据到FTP服务器上的存放路径。 表4 OBS类型存储的参数说明
选择界面左侧导航栏中的“任务管理”,在“任务管理”界面记录了上传任务、采集任务、交换任务、下载任务的任务清单。 单击需要查看任务详情的页签,系统展示页签下的任务列表,可以查看该页签下的任务号、数据名称、状态、子任务、操作等。 以“上传任务”为例说明。 单击“上传任务”页签,通过状态、任务号等进行精确搜索。
接入数据源 上传Oracle需要上传表所在的schema的只读权限,同时需要赋予该用户DBA_CONSTRAINTS 、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。 上传mysql需要具有数据库的只读权限。 上传dws需要上传表所在的schema的只读权限。
该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。 文件总大小不能超过6GB。 OBS上传 数据源 OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。 访问路径 OBS桶中存放文件的路径。 说明: 该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。
该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。 文件总大小不能超过6GB。 OBS上传 数据源 OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。 访问路径 OBS桶中存放文件的路径。 说明: 该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。
该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。 文件总大小不能超过6GB。 OBS上传 数据源 OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。 访问路径 OBS桶中存放文件的路径。 说明: 该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。
、我的任务、账号详情等内容,方便用户快速了解、上手和操作EDS,如图1所示。 快捷入口 包含上传资源、上架offer、创建合约、发送数据,方便用户快捷使用。 统计概览 统计我的资源(上传的)、我的Offer(上架的)、我的合约(发出的)数据,单击后展示数据详情。 我的任务 展示待
该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。 文件总大小不能超过6GB。 OBS上传 数据源 OBS数据源,用户从OBS桶中获取数据。如没有OBS数据源,可通过接入数据源接入。 访问路径 OBS桶中存放文件的路径。 说明: 该路径下文件需符合以下规则,否则会导致传输失败: 文件数量包括文件夹不能超过1000个。
选择想要加入的连接器,单击连接器卡片上的“申请加入”。 连接器管理员在连接器界面单击“工作台”中“我的待办”,查看任务类型为“连接器审批”的任务并在操作列进行审批。 父主题: 开通并购买/加入/转让连接器
在创建采集任务时,如何配置调度任务并启用执行? 进入DMAP数小二管理控制台界面,选择“数据管家360 > 元数据采集 > 采集任务配置”。 在任务列表中找到需要配置调度任务的采集任务,单击“操作”栏中的“编辑”,设置采集任务的执行周期,如表1所示。 表1 执行周期参数说明 参数
入门实践 当您完成了数据上传、交换以及管理数据等基本操作后,可以根据自身的业务需求使用EDS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据交换 用户建立EDS与第三方内网环境的数据库/FTP服务器的连接 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于EDS
具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 DWS:DWS是一种基于华为云基础架构和平台的在线数据处理数据库。 数据源名称 自定义数据源名称,建议按照一定的命名规则填写任务名称,方便快速识别和查找。要求长度范围为2位~50位。 数据源描述 用户可以根据需要在文本框中输入对该数据源的描述信息。
用户可通过应用实例将服务提供的内置应用实例化,形成连接器可使用的应用,更进一步帮助用户限定数据使用方式。 支持区域: 华北-北京四 华南-广州-友好用户环境 注册应用 数据源管理 支持接入DWS、OBS、ORACLE、MRS_HIVE、FTP、MYSQL、API等多种数据源,用于数据上传和下载
购买连接器 用户需要通过连接器进行数据的上传和交换,空间实例创建完成之后需要先申请开通连接器,待空间管理员审批后再购买连接器。同时用户可以对已购买成功的连接器进行禁用、恢复、退订和删除操作。 前提条件 用户已购买/加入交换数据空间。 购买连接器 购买交换数据空间实例后,需再购买连
表2 参数说明 参数 说明 连接地址 FTP服务器的IP地址。 端口 FTP服务器端口。 连接模式 主动:FTP服务器主动连接客户端的数据端口。 被动:FTP服务器被动等待客户端连接自己的数据端口。 用户名、密码 登录FTP服务器的用户名和密码。 连接参数配置完成后,单击“测
用户通过新增资源将本地数据资源上传到EDS平台,方便在EDS平台完成数据交换。 数据提供方 点对点交换 存在两种方式: 直接创建合约并发送数据。 在已有合约的情况下,可以重复多次发送数据,无需新建合约配置策略。 审批资源 数据提供方审批人在“工作台”的“我的任务 > 待办”中,审批该资源是否提供给数据消费方。
申请开通并购买连接器 用户需要通过连接器进行数据的上传和交换,空间实例创建完成之后需要先申请开通连接器,待空间管理员审批后再购买连接器。同时用户可以对已购买成功的连接器进行禁用、恢复、退订和删除操作。 前提条件 用户已购买/加入交换数据空间。 申请开通连接器 登录交换数据空间官网。
管理个人中心 管理我的导入任务 查看我的申请任务 管理我的导出任务 管理我的待办任务
ORACLE:ORACLE是一款功能强大的关系型数据库,用户可以读取ORACLE的业务数据,将数据上传到EDS上,目前仅支持11.2.0.4的版本。 数据源名称 自定义数据源名称,建议按照一定的命名规则填写任务名称,方便快速识别和查找。要求长度范围为2位~50位。 数据源描述 用户可以根据需要在文本框中输入对该数据源的描述信息。