检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf
配置DLI 队列与公网网络联通 操作场景 本节操作为您提供DLI队列在公网访问场景下网络打通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 操作流程 图1 配置DLI队列访问公网流程 步骤1：创建VPC 登录虚拟私有云控制台，创建虚拟私有云。创建的VPC供NAT访问公网使用。
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户
可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DLI的使用权限，但是不希望他们拥有删除DLI等高危操作的权限，那么您可以使用IAM为开发人员创
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： 分组函数 在流处理表中的 SQL 查询中，分组窗口函数的 time_attr 参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。
DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台，支持对接华为云SMN告警系统，用户可通过邮件、短信、电话、第三方办公工具（webhook模式）
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： 分组函数 在流处理表中的 SQL 查询中，分组窗口函数的 time_attr 参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。
MRS Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。MRS基于Apache
具体API请参考《导出查询结果》。 与统一身份认证服务（IAM）的关系 统一身份认证服务（Identity and Access Management）为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务（CTS）的关系 云审计服务（Cloud
跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自数据湖探索的技术牛人，为您解决技术难题。
的队列价格为单AZ模式下的2倍。 新创建的队列需要运行作业后才可进行扩缩容。 DLI队列不支持访问公网。 创建队列步骤 创建队列的操作入口有三个，分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。
y-MM-dd HH:mm:ss.fff”。 INTERVAL string range INTERVAL interval表示时间间隔，有两种类型，一种为“yyyy-MM”，即保存年份和月份，精度到月份，它的Range可以为YEAR或者YEAR To Month；一种为天 时间(“dd
y-MM-dd HH:mm:ss.fff”。 INTERVAL string range INTERVAL interval表示时间间隔，有两种类型，一种为“yyyy-MM”，即保存年份和月份，精度到月份，它的Range可以为YEAR或者YEAR To Month；一种为天 时间(“dd
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证，将CSS安全集群的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群，且集群满足以下条件：
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源
Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服
创建Kafka_SSL类型跨源认证 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerbero
数据湖探索（DLI）作为华为云大数据分析平台，其计费项包括存储费用与计算费用两项，计费类型包括包周期（包年包月），套餐包和按需计费三种。 DLI目前支持三种作业：SQL作业，Flink作业和Spark作业。 SQL作业的计费包括存储计费和计算计费，其中计算计费有包年包月计费和按需计费两种。
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如project
使用DLI进行车联网场景驾驶行为数据分析 应用场景 在车联网领域，云计算与大数据为企业提供了强大的分析挖掘能力，可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据，DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
