云服务器内容精选

华为云首页用户手册

数据管理与分析

数据管理与分析-方案概述:方案优势

方案优势此解决方案本身具备如下优势：方案灵活：可拆分配置的8大服务模块，满足客户定制服务需求，节约客户开支，提高付费意愿。一专多能：以大数据迁移、接入、开发为主的技能优势为入口，拓展全场景的大数据服务能力。通用模式：7年+的大数据技术专业经验，打磨出面向底层方法论的通用大数据服务模式、模型。此人力服务型解决方案依托深厚的公司实力、团队能力和技术能力：公司实力： 9年的行业经验，20+领域的覆盖，服务过1000+家的企业。发明专利10+项，各类ISO/政府/企业认证资质10+项，软件著作权50+项。公司投入巨大，大数据相关行业的项目管理经验丰富。团队能力：专业人才充足：数据管理与分析服务团队200+人，共考取100+张大数据开发/ 数据仓库相关的能力认证证书。服务分布广泛：分布北京、深圳、江苏、湖北等地，能及时响应全国项目的服务需求。项目经验丰富：2022-2023年度服务10+家大数据客户。技术能力：具备从大数据咨询、调研到大数据运营分析的全技术栈和端到端的服务和交付能力。具备7+年的大数据技术使用和服务经验。

数据管理与分析
数据管理与分析-方案概述:应用场景

应用场景以互联网、零售、制造这三个行业为例，介绍客户的典型方案场景和痛点场景一：互联网行业电商大数据迁移客户的痛点: 在不同云厂商间迁移，需要迁移脚本和作业，通常在不同厂商云之间，脚本的语法上存在兼容性和性能、配置等问题。解决方案: 提供专业的大数据迁移技术服务。提供不同厂商云之间的脚本语法映射表。提供不同厂商云的平台配置、和性能调优手册。场景二：零售行业，数字化营销，大数据运营。客户的痛点: 如何高效选址如何高效准确定位客户群体如果高效为客户提供线上线下一体化的服务解决方案: 提供专业的大数据运营服务。提供先进的大数据治理工具、平台。提供高性能的用户画像、市场画像等大数据运营工具。场景三：制造行业，电子元件，大数据运维客户的痛点: 在制造行业，企业通常需要时刻监控设备的运行情况。解决方案: 提供专业的大数据运维服务。提供先进的大数据运维监控平台工具。提供全部的大数据运维案例和预案。本章节介绍如何基于华为云基座、华为云服务平台、华为云工具平台设计，提供从大数据咨询、调研到大数据运营分析的全技术栈和端到端的服务和交付能力。

数据管理与分析
数据管理与分析-资源和成本规划

资源和成本规划表1 云服务成本规划序号云服务名称云服务类型规格数量计费模式计费周期参考价格 1 VPC VPC名称: iotstage-vpc-1872911 / 1 无需选择计费模式无需选择售卖周期 -- 2 SG SG 安全组名称: iot_sg 1 无需选择计费模式无需选择售卖周期 -- 3 ModelArts MODELARTS 计算型GPU(Vnt1 NVLINK 32G) 实例 modelarts.bm.gpu.v100NV32 购买时长: 1000h 1 包周期 1年 24500 4 DLV GeneralCloudService 基础班 1 包周期 1年 60 5 ServerGroup E CS .ServerGroup 云服务器组名称: ServerGroup-d39fa3 | 策略: 反亲和 1 无需选择计费模式无需选择售卖周期 -- 6 OBS OBS OBS桶名: iotstage-obs-8t8cie 数据冗余存储策略: 多AZ存储存储类别: 标准存储桶策略: 私有 1 按需无需选择售卖周期 0.139 7 RDS RDS 数据库引擎: MySQL 数据库版本: 8.0.28 实例类型: 主备性能规格: 独享型云盘SSD | 16vCPUs | 128GB 存储类型: SSD云盘磁盘大小: 40GB 1 包周期 1个月 6944 8 DataArtsStudio DGC 版本初级版企业项目: 0 1 包周期 1个月 2000 9 DIS GeneralCloudService ["分区:普通 | 分区数量：1","消息数量:普通 | 平均消息大小: 1KB | 平均写入消息数: 1"] 1 按需无需选择售卖周期 0.1 10 CDM CDM 实例规格: cdm.large | 8核 16G | 0.8/3 Gbps | 20 1 按需无需选择售卖周期 ¥2.25/小时 11 GesPackage GESPackage 鲲鹏百万边图 1 包周期 1个月 3000 12 CSS CSS 集群版本:7.10.2 节点规格:ess.spec-4u32g | 4 vCPUs | 32 GB 节点存储类型:超高I/O | 100 GB 1 包周期 1个月 4566.96 13 CloudTable GeneralCloudService ["Front End计算规格:4U16G * 3节点","Front End存储规格:高IO | 300GB * 3节点","BE计算规格:4U16G * 3节点","BE存储规格:高IO | 400GB * 3节点"] 1 按需无需选择售卖周期 8.829 14 DWS DWS 产品类型: 标准数仓计算类型: 弹性云服务器存储类型: SSD云盘部署类型: 集群 CPU 架构: X86 节点规格: dwsx3.16U64G.16DPU | 16 vCPUs | 64 GB 热数据存储: 100 GB 企业项目: 0 1 包周期 1个月 8664 15 GeneralCloudService GeneralCloudService ["CUs:弹性资源池 | 64"] 1 包周期 1个月 10880 16 MRS MRS 集群版本 MRS 3.1.0 集群类型自定义集群（仅MRS 3.x版本支持）组件 [Hadoop, ZooKeeper, Ranger] 集群节点组 master_node_default_group 实例规格: ac7.4xlarge.4.linux.bigdata(16U 64G) 系统盘: 超高IO 480GB X1 数据盘: 超高IO 600GB X1 实例数量: 3 node_group_1 实例规格: ac7.4xlarge.4.linux.bigdata(16U 64G) 系统盘: 超高IO 480GB X1 数据盘: 超高IO 600GB X1 实例数量: 3 1 包周期 1个月 18983.04 17 ECS ECS.CloudServer ECS 名称 iotstage-ecs-fb1c38 CPU架构 x86计算规格通用计算增强型 | ac7.4xlarge.4 | 16vCPUs | 64GiB 镜像来源公共镜像镜像 CentOS 7.6 64bit 系统盘极速型SSD, 100GiB 数据盘 1块 | 极速型SSD, 100GiB 1 包周期 1个月 2184.32

数据管理与分析
数据管理与分析-实施步骤

实施步骤本方案包括八大模块，每大模块的每个功能模块都有其独立的实施步骤图1 数据管理&数据应用以大数据管理服务为例子，其实施步骤大体包含以下内容: 表1 大数据管理服务项目阶段服务内容服务需求调研 / 服务方案设计 / 数据汇聚包括互联网数据采集数据库数据抽取接口对接日志文件收集数据标准化数据清洗数据转换数据去重数据排序数据建模标准数据模型应用数据模型知识图谱 +HI专家智能数据结构化网页/文档的数据结构化图像OCR 语音识别语义分析NLP 数据质量检查与管理实时/周期的数据质量检查实时/周期数据质量报告检查内容包括:准确性、一致性、重复性、实体完整性、参照完整性、用户自定义完整性等。数据资产收集与管理实时/周期数据资产收集实时/周期数据资产报告数据血缘提取与管理实时/周期数据血缘提取数据血缘地图维护其提取的粒度为数据列数据合规检查与管理实时/周期数据合规检查实时/周期数据合规报告其内容包括法律遵从性、隐私保护、数据最小化、数据保留政策、数据主体权利、数据泄露管理等。数据安全加固与管理实时/周期数据安全检查及时的数据安全加固其内容包括访问控制、数据加密、数据备份、漏洞管理、安全审计、风险评估、数据脱敏等

数据管理与分析
数据管理与分析-数据中心:智能ETL

智能ETL 数据中心智能ETL，左上角搜索区，可以依据关键字快速查找所需ETL，也可以根据运行状态进行筛选。右上角可以新建文件夹和ETL。图15 智能ET ETL列表内展示ETL的名称、输入/输出、最近更新时间、上次运行时长及其他操作。可按照名称排列顺序，也可以按照时间降序排列。单击编辑就可以进行修改了。ETL和数据集一样，可以查看运行记录/另存为/移动至/删除，也可以批量移动和删除。图16 ETL列表右上角选择新建ETL，进入可视化编辑页。编辑页左侧是配置区，右侧是编辑区。先从左侧数据集内拖拽输入数据集至右侧，单击输入数据集。可以从数据集列表内筛选所需数据集，可按照所有类型快速筛选。然后单击确定进行数据的导入。图17 新建ETL 确认输入数据集后，从左侧根据需求进行规则配置的拖拽连线和数据处理，最后拖拽输出数据集，并进行连线。左上角编辑名称后右上角单击保存就完成了数据处理。图18 选择数据表图19 输出数据集

数据管理与分析
数据管理与分析-数据中心:新建数据集（数据库）

新建数据集（数据库）新建数据集选择数据库，勾选数据库类型进入下一步，选择账户进行数据库查询，查询结果可进行预览；预览结果无误，可进入下一步。图4 选择连接器图5 选择数据表数据库连接方式分直连和guan-index两种。直连数据库可选择数据更新周期，也支持实时卡片数据；guan-index也可选择数据更新周期，另外还支持增量更新。选择好同样可修改表头字段和格式、然后填写数据集名称和保存路径，确认新建即可。图6 数据连接及更新设置图7 确认数据表信息

数据管理与分析
数据管理与分析-数据中心:数据集管理

数据集管理数据集页面可查看数据集的类型、名称、行/列数、最近更新时间和其他操作。用户是使用者，可以预览数据集，可以用数据集新建卡片，但无法修改数据集相关信息；用户是所有者的，除预览和新建卡片外，还可以进行数据集相关的修改。勾选多个数据集，针对数据集可批量更新、移动和删除。图8 数据集管理1 图9 数据集管理2 页面左上角搜索框内输入数据集名称关键字，可以快速查找到目标数据集。针对搜索结果，还可以根据所有（数据集拥有者权限身份）、所有类型（数据集的类型属性）、所有更新状态进行二次筛选。图10 数据集管理3

数据管理与分析
数据管理与分析-数据中心:新建数据集（文件）

新建数据集（文件）数据中心数据集页面右上角单击新建数据集，目前观远数据支持各类主流数据库、常用文件、SaaS源和融合数据。（此处以文件和数据库为例）图1 新建数据集选择文件，勾选常用文件类型，进入下一步。上传本地文件，可选择需要的工作簿批量上传，可预览表中30行数据。表头字段可在此处进行修改，也可以单击下拉箭头，修改字段格式。完成后编辑数据集名称、选择保存路径，最后单击确定新建，数据集创建成功。图2 选择数据表图3 确认数据表信息

数据管理与分析
数据管理与分析-系统集成操作:钉钉配置

钉钉配置在钉钉开放平台-应用开发-移动接入应用-创建扫码登录应用授权，这是观远平台支持钉钉免密登录与扫码登录的前提。在钉钉PC端管理后台-工作台-自建应用，填写观远移动端访问链接。系统集成处选择钉钉应用配置，单击配置信息进行填写，填写测试连接确保填写无误。图7 钉钉配置启用钉钉应用配置，系统亦会自动添加“钉钉账号”的用户属性，依然由管理员进行配置。配置后PC端登录界面就会有钉钉登录的入口。图8 钉钉参数设置

数据管理与分析
数据管理与分析-方案概述:方案优势

方案优势云原生架构：平台在设计之初，就采用了业内当先的基于容器技术的分布式架构方案，基于微服务的架构对组件进行模块化拆分，并使用Kubernetes进行容器编排管理和运维。该架构具有完备的集群管理能力，弹性扩容能力、强大的故障发现和自我修复能力。应用层采用多域模式，实现平台共享、数据隔离、安全管控。灵活的自助分析：产品提供了拖拽式的ETL处理工具，以及零代码前端可视化设计能力，使得数据的获取、处理、分析不再是技术人员的专利，大大降低了数据分析应用的使用门槛，使得天天都是数据分析师成为可能。适配多终端应用：在传统BI产品都在依赖PC报表往移动端适配的背景下，观远提供了一套完整的移动端解决方案，首创的移动端应用拖拽式布局，以及强大的移动端特性定义能力（如导航逻辑、界面优化），使得用户可以在零代码的基础上，实现类似原生APP的UI/交互效果。优越的计算性能：产品集成了Spark计算引擎以及Clickhouse实时计算引擎，在复杂计算以及大数据量实时运算两种不同的场景中，均有良好的性能表现。如：复杂的ETL运算、表间关联、字段逻辑处理可以依赖Spark的集群进行快速运算，在亿级甚至十亿级别的实时多维聚合运算，可以基于Clickhouse实现秒级的响应。产品可扩展性：观远产品具备了良好的扩展性，如可视化插件开发，可借助第三方的可视化能力（Echarts、Highcharts等），构建出自定义的数据可视化展现方式。使用自定义图表，可以让平台的可视化能力不局限与当前已有的图表类型，可以根据自己的实际场景，扩展出丰富多样的可视化类型。企业级安全管控：产品具备完善的页面访问权限、数据行列权限、以及用户角色属性权限管控机制，能够满足金融级场景下数据权限的精细化管理需要，并且支持对敏感信息的加密，以及页面水印等安全性管控机制

数据管理与分析
数据管理与分析-方案概述:方案架构

方案架构业务架构图1 业务架构如图所示，本方案主要由华为云云计算底座+观远BI形成商业智能分析平台解决方案，提供适用于企业商业智能分析系统的产品与能力的组合，满足企业数字化转型需求。观远智能分析平台：一站式，只需一个平台，即可打通数据采集-接入-可视化分析-智能应用的全流程；大数据架构提供企业级平台能力，支持万级用户数及十亿级数据量；观远数据开发平台：数据治理工具，可进行多种数据来源的对接；提供复杂灵活的调度能力进行数据集成与处理；随后这些数据可以通过服务化的能力提供给数据分析平；观远数据连接器扩展包：一键安装，帮助企业高效完成数据对接；观远应用模型扩展包：基于行业经验沉淀，支持一键发布，快速实现实施落地。

数据管理与分析
数据管理与分析-方案概述:应用场景

应用场景场景1：零售消费场景机遇和挑战零售行业客户门店数量多，但前期管理较为粗放，在门店数量急剧增加的情况下，海量数据也沉淀较多，企业往往面临着以下挑战：如何挖掘海量数据价值，促进管理精细化：企业内部拥有多个信息化系统，随着企业高速发展，沉淀了海量数据。品牌希望有效地进行数据分析，挖掘数据价值，实现进一步精细化管理，降本增效；如何提升信息传递效率：万家门店也意味着运营组织的复杂度，但各业务部门日常的经营管理还严重依赖手工统计、逐层反馈，效率亟待提升；如何快速洞察异常，快速响应市场变化：全国万家门店的运营管理，亟需一套数据运营监控诊断系统，指导区域与门店的运营管理。解决方案观远数据在公司范围内构建统一的数据运营分析应用体系，在营销、渠道、供应链、研发等全链路经营环节提升数字化能力，以数据辅助业务决策。渠道运营数字化：构建线上DTC数字化运营体系，创新业务增长新模式；经销商进、销、存数字化管理，优化库存周转和库存结构；新渠道高速增长与传统渠道的数据流程优化，合力推动增长。营销管理数字化：渠道推广数据可视化，费用可追踪，效果可衡量；数据洞察驱动营销策略调整，提高营销效率；透视营销ROI，加大高转化渠道投入，实现效益最大化。供应链数字化：全链路业务环节线上化和数字化，助力上下游环节敏捷协同；订单全链路追踪，包含研发、生产、仓储、配送等核心环节；产销协同精细化，利用实时数据准确把握供产销节奏。研发数字化：最新热卖商品分析，洞察消费趋势；市场竞争情况分析，定位产品竞争力；数据驱动产品研发决策，提高新品的上市成功率。方案价值思维渗透：大屏、PC、移动应用等工具渗各个平台营造数据分析氛围；生态搭建：完整产业链深入业务信息化，研发、生产、物流等核心环节高效配合，搭建数字化生态；敏捷反应：打通20+业务系统，实现销存数据整合分析，依据结果迅速反应反哺业务；数据消费提升：Excel表格进化到BI系统，门店全生命周期管理，一个人服务成千上万个客户。场景2：互联网场景机遇和挑战互联网平台企业作为数据高端玩家，基本都接触或使用过BI，但随着移动办公场景的增长，如何实现大数据量的处理，同时实现移动端快捷的数据应用，成为互联网行业的一个问题，传统的工具性能以及便捷性已逐渐无法满足日益增长的业务需求。主要体现在以下几方面：原有工具移动端开发不友好，对接Welink、企业微信或其他移动端需要第三方定制化开发，且数据看板无法直接复用；数据更新不准确，且时效性较低，同时大数据量的情况下，处理数据的能力较弱，无法有效发挥数据价值；互联网平台流量庞大，但质量以及转化无法准确管控；用户量庞大且多元化，用户行为复杂，难以精细化做用户运营。解决方案通过多终端灵活易用、高性能的观远数据BI平台，实现跨团队数据协同，基于观远数据构建新的BI体系。营收分析：总览全盘营收，洞察不同频道和新老客的流水趋势；新增会员、新老客付费率多维度分析，识别增长短板；高价值用户流水结构分析，帮助优化内容和特权设计。流量分析：DAU趋势、内容消费UV趋势、观看时长趋势一手掌握；网页端、APP、小程序、H5等不同渠道的流量和粘性分析；直播、视频、图文的UV和渗透率分析，识别用户偏好。用户行为分析：把握活跃数、付费用户数、付费率走势，提高各节点转化率；连续活跃用户、沉默用户、流失用户、回流用户分群洞察；首单消费后的活跃和流失分析，洞察用户生命周期。内容分析：新增素材—通过审核—发布，提高内容生产漏斗转化率；曝光量—浏览量—互动量—付费金额，直观反映内容表现；内容主题和TOP博主分析，总结爆款内容生产方法论。方案价值数据统一与灵活更新：对多个数据源接入，实现计算结果一致性，灵活的数据更新机制保障结果的及时性和正确性；无缝集成与统一管控：基于与第三方移动端的集成，实现统一、灵活的权限管控，在此基础上进行数据协作，快速响应业务；数据普惠一线员工：拖拉拽操作，实现业务的自助分析，移动轻应用集成办公移动端，实现随时随地看数决策；场景话分析降本增效：通过对营收、流量、用户、内容等多维度分析，实现对重点流量渠道、重点用户、重点内容的区分运营，提高投入产出比。

数据管理与分析
数据管理与分析-用户管理功能:用户组管理

用户组管理用户组内单击新建用户组，填写用户组名称，所属用户组，创建新用户组。选择任意用户组，可以移动、转移、删除用户组，可以单击修改用户组名称；可以设置用户组权限，设置仪表盘权限和数据集权限；可以添加子用户组为该用户组添加一个或多个子用户组；可以单击移动用户组，将该用户组移至其他用户组下，变成一个子用户；单击转移将该组拥有的资源(卡片、页面、数据集、ETL、数据账户)转移给别的组，转移后该组不再允许对所拥有的资源进行编辑操作。还可以删除用户组，如下图所示：图2 用户组管理

数据管理与分析
数据管理与分析-仪表板:卡片管理

卡片管理卡片标题栏左上角显示卡片名称，右上角单击齿轮，可见针对该卡片可以进行的操作。单击编辑进入卡片可视化编辑页，针对卡片展示效果可以进行二次修改。单击另存为，可以复制卡片，卡片名称默认“xx_副本”可以修改默认名称和页面保存的路径。单击移动，可以将卡片移至其他页面。单击删除，卡片被删除后不可恢复。如果仅为页面访问者，则对该卡片只享有另存为和导出数据的权限。图6 表格（测试）图7 卡片另存至图8 卡片移动标题栏右上角点前往详情，详情页左上角展示卡片名称，左下角是卡片来源的数据集信息，可单击直接跳转至该数据集。详情页右上角单击过滤器，新增过滤器，选择过滤维度，单击确定，图表展现过滤后的数据。单击全屏，图表即可全屏展示。单击齿轮，与卡片标题栏处设置一样，均是针对此卡片可进行的操作。同时，详情页内也可以进行图表切换。图9 周环比-簇状+折线图图10 新增过滤器图11 过滤数据卡片标题栏单击卡片信息，可以查看卡片信息（包含卡片名称、创建时间、数据集、数据集更新时间、描述）。图12 散点图单击新建计算字段下拉箭头，选择新建计算字段，计算字段编辑器左边是常用高级计算函数、中间是数据集字段、右边是新建字段名称编辑框，填写字段名称和计算公式、然后选择字段类型单击确定。选择新建分组字段，分组编辑器内也需要先填写新字段名称，然后选择字段添加分组，从左边列表勾选字段添加至右侧列表，再添加一个分组名称；未被选择的可合并为其他/单独的条目，最后单击确定就完成了。图13 概览图14 计算字段编辑器图15 分组编辑器1 图16 添加分组图17 分组编辑器

数据管理与分析
数据管理与分析-仪表板:新建卡片

新建卡片仪表板右上角单击新建卡片，选择可视化图表。弹框左侧是数据集列表，可选择平铺和目录两种形式查看，也可以针对数据集类型进行查找；右侧是数据集详情（包含数据集名称、类型、所有者、行列数、更新时间、字段等），选择目标数据集，单击确定进入可视化编辑。图1 可视化效果展示图2 选择数据表可视化编辑页分数据集相关、配置区和预览区三大块。数据集面板右上角单击切换数据集，可一键轻松切换数据集，无需重建卡片。单击数据集预览，可针对数据集内30行数据进行浏览。单击搜索字段，针对数据集字段较多的情况，可快速找到指定字段，新建字段，可与数据集内一样新建计算字段和分组字段。蓝色是数据集内维度字段，绿色是数据集内数值字段，按需进行单个拖拽或批量拖拽即可。图3 用户数据分析1 将所需维度和数值分别拖拽至绘制区，默认展示单柱图。根据需要在可视化图表类型里任意筛选图形。不同图表所需维度和数值数量不同，预览区内会有图表制作提示。针对基础图表，可进行附加操作，让图表变的更清晰美观。如，将单价拖拽至工具提示，针对重要非必要的数值只有在鼠标移至图表时才会展示。还可以将营业额拖拽至排序，让图表按照年龄分组升/降序展示。单击数据标签，数值可直接显示在图表上。图表右上角可进图表切换，左上角更改后自动刷新数据可以实时刷新展示，最后将卡片名称修改并进行保存即可。图4 用户数据分析2 图5 用户年龄结构

数据管理与分析

数据管理与分析

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

云服务器内容精选

数据管理与分析

7*24

备案

专业服务

退订

建议反馈

售前咨询热线