检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BI工具连接DLI方案概述 BI工具是数据分析的强大助手，提供数据可视化、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。 通过连接到DLI，BI工具可以更加灵活的使用DLI访问和分析数据，帮助企业快速做出基于数据的决策。
DLI。 迁移DWS数据至DLI，具体请参考迁移DWS数据至DLI。 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表1可以获取到源和目的端的数据类型映射关系。 表1 数据类型映射表
是根据当前可以获取到的业务数据，实时统计每种渠道的相关指标，输出存储到数据库中，并进行大屏展示。 方案架构 使用DLI Flink完成电商业务实时数据的分析处理，获取各个渠道的销售汇总数据。 图1 方案简介 流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤：
在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 是，执行3。 否，执行2购买“SQL队列”类型的队列。
高数据迁移和集成的效率。 图1 迁移数据至DLI 常见迁移场景与迁移方案指导 表1 常见迁移场景与迁移方案指导 数据类型 迁移工具 迁移方案 Hive CDM 典型场景示例：迁移Hive数据至DLI Kafka CDM 典型场景示例：迁移Kafka数据至DLI Elasticsearch
自定义SQL防御规则名称。 系统规则 选择防御规则，DLI支持的系统防御规则请参考DLI支持的SQL防御系统规则。 队列 选择绑定规则的队列。 描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型： 提示：配置系统对SQL请求满足防御规
IEF系统事件上报（废弃） 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/system-events 参数说明
文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 父主题： DLI资源配额类
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置统一的标签将
DLI可轻松将CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
(a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON 序列化消息。 Flink
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案，保障数据的持久性和可靠性。 流量限制：DLI通过设置流量控制机制，防止服务过载并保持服务的稳定性。 跨AZ容灾：DLI云服务采用跨可用区容灾部署，减少单点故障的风险，提高系统的可用性和弹性。 备份恢复：DLI自动化的备份策略
pruning predicate on partitioned table `777dd`.`test_delta_parts1` 解决方案：在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable
设置普通队列的弹性扩缩容定时任务 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。
ed character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动
即配置监控周期内无指标数据产生或指标数据不足时系统的处理方式。 告警通知的行动规则：建议开启告警通知的行动规则，确保告警时可以通过邮件或者短信等方式获取通知。配置时选择2中配置的告警行动规则。 相关操作 预定义仪表盘不能满足业务需求时，您可以按需自定义仪表盘。具体操作请参考自定义仪表盘。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
