检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业开发 作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维,ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体,将每个逻辑数据实体放在一个画布中,包括ODS层、DWI层、DWR层基础数据,然后按照ODS层作业
脚本开发 数据连接创建成功后,进行脚本开发,按照数仓分层规范和《数据湖开发规范》进行关系建模开发和维度建模开发。 创建spark sql脚本 在“脚本开发”功能下,在对应的脚本文件夹下创建spark sql脚本。 图1 脚本开发1 SQL脚本右上角配置数据连接和数据库 图2 脚本开发2
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 创建作业 在DataArts
数据开发平台 数据源 视频源 数据连接器 数据图书馆 数据交换机 数据分析仪 数据大屏-启动大屏配置 数据服务 父主题: 实施步骤
数据开发设置 操作步骤 编辑器提供基础的设置,包含操作栏、快捷键和存储设置,如果没有对应的OBS桶,可以跳转去创建,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。 单击“设置”按钮,可根据需求设置相应参数。
数据水印功能会不会修改源数据? 华为云数据安全中心服务的数据水印功能不会修改源数据。 使用数据水印功能时,DSC通过调用OBS桶数据或者本地文件,将水印信息嵌入到文件后生成新的文档,该文档会下载到您指定的本地路径,所以对源数据不会有任何影响。更详细的了解,请参考数据水印章节。 父主题:
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
如果特征数据为时序数据,支持的图表类型分别有趋势图、直方图、箱线图、KDE曲线、ACF与PACF。 标题 特征数据图表标题。 X轴 单击“”,从特征数据的特征列中选择数据列作为图表X轴。 Y轴 单击“”,从特征数据的特征列中选择数据列作为图表Y轴。 Z轴 单击“”,从特征数据的特征列中选择数据列作为图表Z轴。
访问数据库 假设客户端应用程序已经完成数据库连接,并初始化好一个 MongoClient client. 访问DataBase 当已经有一个初始化好的MongoClient实例后,通过如下方式来访问一个database,示例如下: db=client.test_database 或者采用如下方式指定:
开发者认证理论考试常见问题 考试注意事项? 为什么考试前验证时提示我身份验证失败? 为什么正在考试时提示我“识别非本人”导致“认证不通过”? 考试有几次考试机会? 如何查看开发者认证理论考试通过成绩及状态? 考试已通过,可以刷新成绩记录吗? 父主题: 华为云开发者认证
a/sample CDM方式迁移 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务(Object
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
如何查看开发者认证理论考试通过成绩及状态? 考试结束即会显示考试成绩,考试通过状态可在华为云开发者学堂右上方的“开发者个人中心-我的开发者学堂-我的认证-我的开发者认证”进行查看,如图1。 图1 查看考试通过状态 父主题: 开发者认证理论考试常见问题
查看表元数据 元数据说明 元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
连接数据库 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通,可以使用curl命令连接DDS实例服务端的IP和端口号,测试网络连通性。 curl ip:port 返回“It looks like you are trying to access MongoDB over
证件信息。 勾选同意协议,并单击“提交认领”。 提交成功后,华为云工作人员将在1~2个工作日内,对您提交的资料进行审核。审核通过后,原备案数据认领成功,您可以在“我的备案”中进行查看。 APP端操作步骤 在APP端登录华为云备案小程序。 下载华为云APP。 您可在各大应用市场或扫
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
集群名:环境准备中创建的DWS集群名称。 绑定Agent:环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库,以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录