检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 创建并执行数据开发作业 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发” 。 在“作业开发”界面中,单击“新建作业”,如图3所示。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,数据湖中数据
参数解释: 元数据操作指示符。 约束限制: 无 取值范围: REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-o
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
数据采集 在使用APM服务过程中用户开启APM数据采集开关后,APM仅采集应用性能指标及调用链相关数据,不涉及个人隐私数据。所采集的数据仅用于应用的性能分析和故障诊断,不会用于其他商业目的。 APM服务针对用户数据上报设置租户级限流,分别对性能指标数据、调用链数据、事务数据、链路
开发参考 开发运维规范 命令兼容列表 通过程序代码连接实例示例 Lua脚本编写规范 keyspace通知功能 exHash命令列表 大Bitmap初始化 客户端连接池参数配置 通过openAPI实现自定义周期备份 通过并行SCAN提升全库扫描速度 使用 Pipeline 访问 GeminiDB
标签管理 全局标签管理主要是针对多答案问题时,帮助用户过滤不同的答案。 例如,针对同一个问题,答案有a和b,需要让客户A看到的答案是a,客户B看到的答案是b,此时就可以通过设置标签来实现。 在标签管理页面设置标签后,在知识库中添加知识时,可以在下拉菜单选择相应的标签。 高级版、专业版、旗舰版机器人支持标签管理功能。
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
选查看、编辑和删除分区数据信息。 查看视图数据 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。 切换至“数据源”面板,右键视图名称,单击“查看数据”可筛选查看该数据库下视图数据信息。 图7 查看视图数据 导入数据 登录GaussDB(DWS)管理控制台。
大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库服务 GaussDB(DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题: SCP授权参考
第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,数据湖中数据
MySQL实例 04 使用 数据库实例是在云中运行的独立数据库环境,它是华为云关系型数据库服务的基本构建块。一个数据库实例可以包含多个由用户创建的数据库,并且可以使用与访问独立数据库实例相同的工具和应用程序进行访问。使用华为云关系型数据库管理控制台可以方便地创建和修改数据库实例。 常用操作
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
数据水印功能会不会修改源数据? 华为云数据安全中心服务的数据水印功能不会修改源数据。 使用数据水印功能时,DSC通过调用OBS桶数据或者本地文件,将水印信息嵌入到文件后生成新的文档,该文档会下载到您指定的本地路径,所以对源数据不会有任何影响。更详细的了解,请参考数据水印章节。 父主题:
作业开发 作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维,ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体,将每个逻辑数据实体放在一个画布中,包括ODS层、DWI层、DWR层基础数据,然后按照ODS层作业
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
如果特征数据为时序数据,支持的图表类型分别有趋势图、直方图、箱线图、KDE曲线、ACF与PACF。 标题 特征数据图表标题。 X轴 单击“”,从特征数据的特征列中选择数据列作为图表X轴。 Y轴 单击“”,从特征数据的特征列中选择数据列作为图表Y轴。 Z轴 单击“”,从特征数据的特征列中选择数据列作为图表Z轴。
OBS里的数据进行敏感数据识别,添加OBS资产的相关操作请参见添加OBS资产。 数据库:DSC将对已授权的数据库资产进行敏感数据识别,授权数据库资产的相关操作请参见授权数据库资产。 大数据:DSC将对已授权的大数据资产进行敏感数据识别,授权大数据源资产请参见授权大数据资产。 MR