检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 MRS的这种模式提供了更高的自由度和定制性，适合有大数据处理经验的用户使用。 具体请参考《MapReduce服务开发指南》。
Studio ”，可能是由于缺少C++编译器导致的报错，建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包，解压安装包。 将"dli-sdk-python-<version>
Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件
并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以
Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集
目前包含以上6种格式。 指定数据格式的方式有两种，一种是USING，可指定以上6种数据格式，另一种是STORED AS，只能指定ORC和PARQUET。 ORC对RCFile做了优化，可以提供一种高效的方法来存储Hive数据。 PARQUET是面向分析型业务的列式存储格式。 父主题： 标示符
与云审计服务（CTS）的关系 云审计服务（Cloud Trace Service）为DLI提供对应用户的操作审计。 云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务（CES）的关系 云监控（Cloud Eye）为DLI提供监控数据，监控作业中的多项指标，从而集中高效地呈现状态信息。
怎样配置DLI队列与数据源的网络连通？ 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。
Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。 本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化，并将变化的数据信息插入到DWS数据库中。
包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ DLI暂不支持变更资源的计费模式。 请您根据业务场景提前做好资源规划，如资源消耗较大，建议您选择包年/包月或购买套餐包的形式更加优惠。 自建队列购买方式如下： 购买队列请参考创建队列。 弹性资源池购买方式如下： 具体弹性
String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 被查询的表所在的数据库名称。 table_name 是 String 被查询的表名称。 user_name 是 String 被查询的用户名称。 请求消息 无请求参数。 响应消息
创建SQL作业模板 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句，可以满足用户大部分的TPC-H需求场
INITCAP(string) 返回新形式的 STRING，其中每个单词的第一个字符转换为大写，其余字符转换为小写。这里的单词表示字母数字的字符序列。 CONCAT(string1, string2, ...) 返回连接 string1，string2， … 的字符串。如果有任一参数为 NULL，则返回
本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。
是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 当前所在的队列的名称，此SQL若需使用资源将使用该队列的资源进行计算。 请求消息 表2 请求参数 参数 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb
选择已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表创建的表名，即为“tabletest”。
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文
Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。 关于IAM的详细介绍，请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机
项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型： sql：查询SQL队列类型的队列。 general：查询通用队列类型的队列。 all：查询所有类型的队列。 如果不指定，默认为sql。
弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率，应对业务高峰期的资源需求。 适用场景：适合业务量有明显波动的场合，如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
