检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI分析车联网场景驾驶行为数据 应用场景 在车联网领域，云计算与大数据为企业提供了强大的分析挖掘能力，可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据，DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
使用DLI分析电商实时业务数据 应用场景 当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关
游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平台。 优势 高效的S
DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化，并且提供了企业级的一站式开发平台，自带开发和运维功能，免除自建集群运维的麻烦；在connector方面除了支持开源connector之外，还可以对接云上Mysql、GaussDB、MRS
DLI服务架构：Serverless DLI是无服务器化的大数据查询分析服务，其优势在于： 按量计费：真正的按使用量（扫描量/CU时）计费，不运行作业时0费用。 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台，既可以
目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性，可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将Flink作业的输出数据写入到OpenTSDB中。 前提条件
DWS Connector概述 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQ
华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以
Superset是一个开源的数据探索和可视化平台，支持对数据进行快速、直观的探索，同时支持创建丰富的数据可视化和交互式仪表板。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Superset与Kyu
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
程序包管理概述 在执行DLI作业前需要将UDF Jar包或Jar作业程序包上传到云平台进行统一的管理和维护。 有以下两种方式管理程序包： （推荐使用）上传至OBS管理程序包：提前将对应的jar包上传至OBS桶中，在作业配置时选择对应的OBS路径。 （DLI程序包功能即将停用）上传
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮
用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink
什么是用户配额？ 配额是指云平台预先设定的资源使用限制，包括资源数量和容量等。设置配额是为了确保资源合理的分配和使用，避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求，可以通过工单系统来提交您的申请，并告知您申请提高配额的理由。 在通过审理之后，系统会更新您的
Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink与Hive的集成包含两个层面，一是利用了Hive的MetaStore作为持久化的Catalog
在DataArts Studio开发DLI SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台，可以实现与DLI服务的对接，从而提供统一的数据集成、数据开发服务，方便企业对全部数据进行管控。 本节操作介绍在DataArts Studio开发DLI
操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板
的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力，基于用户可理解的SQL防御策略，实现对典型大SQL、低
管理DLI资源配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
配额管理 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
