检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成 数据集成普通任务 数据集成组合任务
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
数据探索 数据探索通过关联加工数据集,进行数据建模。数据建模有界面开发和sql开发两种方式。 图1 数据探索 界面开发:界面开发采用拖拽方式,把来自不同数据源的数据集进行关联。不用编写代码,就能轻松完成数据集的关联查询与分析。 图2 界面开发 通过关联关系配置,实现不同的应用场景。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
数据脱敏是否对原始数据有影响? 没有影响。数据脱敏功能只会对数据进行读取,脱敏后保存到您选择的目标位置,不会对源数据进行改动。 如果需要填写已有的数据表,请勿选择业务数据表,以免影响业务。 目标数据表请勿选择原数据表,以免覆盖原始数据。 父主题: 数据识别和数据脱敏
基于知识的问答系统建立大规模知识库,通过理解将用户的问题转化为对知识图谱的查询,提供用户所关心的问题答案。 图2 知识图谱与智能问答 大数据分析与决策 知识图谱通过语义链接帮助理解大数据,获得对大数据的洞察,提供决策支持,应用于各个行业,例如股票投研情报分析,通过抽取公司的股东、子公司、供
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发组件,进入“数据开发 > 作业开发”页签,单击需要手动配置血缘关系的作业名,打开作业画布。 单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。
数据服务 创建专享版集群 设置 API 分配配额 新建审核人 开发 API 调用API 父主题: 实施步骤
根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
开发者认证购买常见问题 代金券获取注意事项 认证购买流程-PC端 认证购买流程-移动端 批量购买常见问题 父主题: 华为云开发者认证
选择数据连接。 DLI数据目录 选择DLI的数据目录。 在DLI默认的数据目录dli。 在DLI所绑定的LakeFormation已创建元数据catalog。 数据库 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题: 数据服务
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
开发场景 场景说明 如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。 这个数
数据标准设计 数据标准设计方法 针对属性字段设计数据标准,数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解,这些理解一旦确定下来,就应作为标准被共同遵守。数据标准设计遵从以下原则: 以业务为导向,必须满足各标准各方的迫切需求,并根据业务需求分阶段推进制定工作;
进入审核页面后,可通过单击“通过”或“不通过”逐一对数据进行审核,直至所有数据审核完成。 审核过程中可开启“标注前后对比”功能,查看当前数据标注前后的内容。 在完成数据标注审核后,需在“数据标注 > 任务管理”页面单击“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题:
权限点 管理员 开发者 运维者 访客 查询集群列表(MRS&DWS&CDM) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧