内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 方案概述

    方案概述 应用场景 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。本节操作以永洪BI对接DLI提交S

  • 方案概述

    方案概述 现有企业A和企业B达成了一项数据共享合作协议,企业B允许企业A根据用户id查询企业B的数据,辅助企业A的实时分析业务。而企业A不想暴露给企业B自己查询的用户id,因为查询该用户的信息隐含着“该用户是企业A的客户”的信息,存在用户隐私泄露的风险。 企业A

  • 方案概述

    方案概述 为了保障大数据产品性能和数据的可靠性,迁移中心提供了由运维实践总结而来的大数据检查项列表,包含手动检查项和自动检查项。您可以根据检查项,完成大数据转运维前的风险评估。 手动检查项当前支持:MapReduce服务(MRS)、数据仓库服务

  • 方案概述

    方案概述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户

  • 方案概述

    dge侧将资源信息同步至MgC,实现满足安全、实时和性能的双向协同通信。 通过对象存储服务(OBS)进行自定义脚本存储与管理。 通过集成主机迁移服务(SMS)、对象存储迁移服务(OMS)和数据复制服务(DRS)实现多种批量迁移编排工作流。

  • 方案概述

    方案概述 应用现状 随着信息化技术的不断发展,企业的业务系统越来越多,各业务系统间需要进行数据的互联互通,以提升企业的运作效率。如何实现企业内新老业务系统之间的数据安全互通,甚至是跨企业业务系统的数据安全互通,成为企业越来越重视的问题。

  • 方案概述

    方案概述 在互联网中,使用OBS作为存储在移动APP(手机Android、iOS应用)中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时,不能直接存储访问密钥(AK/SK)访问密钥(AK/SK)访问密钥(AK/SK),这样可能会导致访问密钥(AK/S

  • 方案概述

    方案概述 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。本文介绍如何使用迁移中心MgC将其他云平台的对象存储或文件存储数据迁移到华为云。 优势 专享迁移集群,减少资源竞争,提高迁移效率。

  • 方案概述

    方案概述 本案例以“小微企业信用评分”的场景为例。 社保、水电气和资助金等数据统一存储在某政务云,由不同的局进行管理,机构想单独申请进行企业相关评分的计算会非常困难。 因此可以由市政数局出面,统一制定隐私规则,审批数据提供方的数据使用申请, 并通过华为TICS可信智能计算平台进行安全计算。

  • 方案概述

    方案概述 有效的风险控制能够消灭或减少风险事件发生的各种可能性,或减少风险事件发生时造成的损失,对于企业具有重要意义。现阶段,企业级的单方风控体系已逐步建立,在机构内数据统一共享的基础上实现了覆盖业务前、中、后各环节的智能风控。然而,单方数据风控面临存在数据不全面、风

  • 方案概述

    方案概述 背景信息 本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模

  • 方案概述

    方案概述 应用场景 零售行业通常根据零售店的销售量进行销售奖励,拍摄售出商品的条形码上传后台是常用的统计方式。翻拍识别利用深度神经网络算法判断条形码图片为原始拍摄,还是经过二次翻拍、打印翻拍等手法二次处理的图片。利用翻拍识别,可以检测出经过二次处理的

  • 方案概述

    方案概述 应用场景 主要面向互联网、影视文娱和传媒行业客户,准确识别自然图片中数百种场景、上万种通用物体及其属性,帮助客户高效实现智能媒资管理和融媒体平台建设。 新闻、影视等素材内容归档管理。 内容推荐:识别新闻媒资、影

  • 方案概述

    方案概述 基于ModuleSDK开发应用实现数据处理或自定义驱动时,分为开发和使用两个部分。 App应用的开发 利用AppClient和DriverClient进行自定义的业务处理

  • hudi静态表的timeline文件无法自动归档,导致hdfs小文件过多

    11。场景是静态表离线跑批。使用spark-sql每天向hudi cow表里insert select 0条数据,timeline文件无法archive,导致小文件越来越多希望大佬给个解决方案spark-sql复现步骤如下:--创建源表CREATE TABLE emp_test ( empno int, ename

    作者: yd_267301427
    59
    2
  • 方案概述

    方案概述 应用场景 在当今数字化业务高度依赖数据存储和快速数据访问的时代,Redis 作为一款高性能的键 - 值存储数据库,被广泛应用于缓存、消息队列、实时分析等众多场景。然而,面对日益复杂的云计算环境和潜在的各类风险,实施 Redis 跨云容灾变得至关重要。

  • 方案分析

    (四)缩短键值对存储长度 键值对的长度与性能成反比,键值对越长,性能越低。可以对数据进行序列化和压缩再存储,例如使用 protostuff 或 kryo 序列化,snappy 压缩。这样可以减少内存占用,提高存储和访问效率。 (五)使用

  • 方案分析

    和优化。 Q: 对于消费者,可考虑使用缓存存储已处理数据,避免重复处理。 A: 对于消费者,可以考虑使用缓存存储已处理的数据,避免重复处理。例如,可以使用 DCS 等缓存服务器,将已处理的消息 ID 或关键信息存储在缓存中,当消费者再次接收到相同的消息时,可以直接

  • 方案分析

    storePathCommitLog:将 CommitLog 和 ConsumeQueue 分别存储在不同的磁盘上,减少磁盘 I/O 争用,提高读写性能。假设我们有两块磁盘,分别将 CommitLog 存储在磁盘 A,ConsumeQueue 存储在磁盘 B,可以有效避免两个重要组件在同一磁盘上竞争 I/O 资源。

  • 如何避免Spark SQL做数据导入时产生大量小文件

    ​01什么是小文件? 生产上,我们往往将Spark SQL作为Hive的替代方案,来获得SQL on Hadoop更出色的性能。因此,本文所讲的是指存储于HDFS中小文件,即指文件的大小远小于HDFS上块(dfs.block.size)大小的文件。

    作者: 数据湖爱好者
    发表时间: 2021-05-13 07:40:29
    3463
    0