检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。 本例以图探索功能为例,查看用户William相关的用户与电影情况,如图2所示。 图2 分析图数据 父主题: 图数据自动化构建与分析
环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:网络打通。 多类场景下的数据同步 支持单表、整库及分库分表实时增量数据同步。 单表同
原子指标、衍生指标、复合指标和汇总表,不包含事实表。 数据目录组件中创建的元数据采集任务,以及定义的元数据分类和标签。 数据服务组件中发布的API。 约束与限制 对于数据目录组件中名称相同的元数据采集任务、元数据分类和标签,不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。
维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。 典型的维度模型有星形模
已开通MapReduce服务MRS,并创建MRS集群,为Hive SQL提供运行环境。 MRS集群创建时,组件要包含Hive。 已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。
检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先按照表1,检查并准备相关配置。 DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist
约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有行重复的新行将被丢弃,任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见:https://dev
如果是关闭用户隔离,需要重启集群VM才能生效,在集群列表处,选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集群VM:业务进程会中断,并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题:
配置DDS目的端参数 作业中目的连接为DDS连接时,即导入数据到文档数据库服务(DDS)时,目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的
自定义角色完成后,请您参考添加工作空间成员和角色,将IAM用户设置为自定义角色。 示例一 某数据运营工程师通过DataArts Studio进行数据服务工作,仅需要数据服务组件的权限。管理员如果直接赋予该数据运营工程师“开发者”的预置角色,则会出现其他组件权限过大的风险。 为了解决此问题,项目管理员
单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS 3.x版本集群: 登录FusionInsight
的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后,用户上传对象时,数据会加密成密文存储在OBS。用户从OBS下载加密对象时,存储的密文会先在OBS服务端解密为明文,再提供给用户。 如果选择使用KMS加密,则无法使用MD5校验一致性。
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。
Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明 开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的,我们希望每天都能将基于原始数据的最
一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型设计,智能化的帮助用户生成
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
查看监控指标 操作场景 当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。 由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。
Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型
建DataArts Studio数据连接 。 数据集成资源组与数据源网络已打通,详情请参见网络打通。 操作步骤 参见新建实时集成作业创建一个实时处理集成作业。 配置数据连接类型。 选择源端和目的端的数据类型,支持的源端与目的端请参见新建实时集成作业。 图1 选择数据连接类型 选择集成作业类型。
数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏感数据发现任务,脱敏策略,静态脱敏任务和数据水印任务。 如果当前任意组件内还有业务资源,则删