检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table hudi_sink_table ( //
则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地调整营销策略。而如何高效快捷地统计这些指标呢？
公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址，配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导，介绍如何通过设置SNAT规则和配置路由信息，实现DLI服务与公网的网络连接。 操作流程 图1 配置DLI队列访问公网流程 步骤1：创建VPC
SQL作业如何指定表的部分字段进行表数据的插入 如果需要将数据插入到表中，但只想指定部分字段，可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段
算处理。 CEP SQL：提供地理位置分析函数对地理空间数据进行实时分析，用户仅需编写SQL便可实现例如偏航检测，电子围栏等地理分析场景。 大数据治理能力：能快速将海量遥感影像数据接入上云，快速完成影像数据切片处理，为分布式批处理计算提供弹性分布式数据集。 建议搭配以下服务使用
Flink作业重启后，如何保证不丢失数据？ DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以
DLI将Flink作业的输出数据写入数据接入服务（DIS）中。适用于将数据过滤后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可
DIS源表 功能描述 创建source流从数据接入服务（DIS）获取数据。用户数据从DIS接入，Flink作业从DIS的通道读取数据，作为作业的输入数据。Flink作业可通过DIS的source源将数据从生产者快速移出，进行持续处理，适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。
分钟级别扩缩容，从容应对流量洪峰和资源诉求。 支持分时设置队列优先级和配额，提高资源利用率。 作业级资源隔离（暂未实现，后续版本支持） 支持独立Spark实例运行SQL作业，减少作业间相互影响。 自动弹性（暂未实现，后续版本支持） 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。
登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建，则检查确保DIS通道和Flink流作业是否处于同一区域。
（废弃，不推荐使用）DLI服务的DWS Connector：支持自定义sink和source函数，允许用户根据具体需求实现相应的sink或source函数，以实现特定的数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别
全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。
QL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算资源按租户隔离，数据权限控制到队列、作业，帮助企业实现部门间的数据共享和权限管理。
anner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射方式提取数据类型并不总是成功的，比如UDTF中常见的Row类型。
xml”等） 日志输出实现类JAR包（例如：log4j等） 注意事项 创建作业提交任务前，建议先开通云审计服务，用于记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》。
API接口返回的中文字符为乱码，如何解决？ 当API接口返回的中文字符出现乱码时，通常是因为字符编码格式不匹配。 DLI接口返回的结果编码格式为“UTF-8”，在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如，参考如下实现对返回的response.cont
如何给子用户授权查看Flink作业？ 子用户使用DLI时，可以查看队列，但是不能查看Flink作业，可以通过在DLI中对子用户授权，或在IAM中对子用户授权： DLI授权管理 使用租户账号，或者作业owner账号，或有DLI Service Administrator权限的账号，登录DLI控制台。
Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS
SQL作业相关问题 如何理解DLI分区表的列赋权？ 如何避免字符码不一致导致的乱码？ OBS表压缩率较高 更多 跨源连接相关问题 Flink作业如何进行性能调优？ 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK？
通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate table ，再历史导入，再开启实时。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
