检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
子网配置不正确 处理步骤 检查客户安全组是否放通，安全组放通规则如下所示。 入方向规则：检查本安全组内的入方向网段及端口是否已开放，若没有则添加。 出方向规则：检查出方向规则网段及端口是否开放（建议所有网段开放）。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0
怎样查看弹性资源池和作业的资源使用情况？ 在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs，才可以确保作业任务的正常执行。
简介 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where）、运算操作（+、-、*、/）以及函数调用（连接操作
调度Clustering：使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文件：根据所选的Clustering策略，调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。每个组的数据大小应为t
EXISTS：所需创建的数据库已存在时使用，可避免系统报错。 COMMENT：对数据库的描述。 DBPROPERTIES：数据库的属性，且属性名和属性值成对出现。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。
为新的“通用队列”。 重新购买“通用队列”。 将在旧的“Spark队列”中的作业迁移到新的“通用型队列”中，即在提交Spark作业时指定新的队列。 释放旧的“Spark队列”，即删除或退订队列。 父主题： DLI弹性资源池和队列类
并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以
overwrite覆盖分区表数据的时候，覆盖了全量数据？ 当您使用insert overwrite语句覆盖分区表的数据时，如果发现它覆盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli
查询源表数据，发现导致问题产生的记录ctr值为1675，整数位（4位）超出所定义的decimal精度（9 – 6 = 3位），导致double转decimal时overflow产生null值，而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
IAM项目(Project)/企业项目(Enterprise Project)：自定义策略的授权范围，包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目，表示此授权项对应的自定义策略，可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目，不支持企业项目，表示仅能
注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 此处的attr_expr_list中所涉及的字段只能是左表中的字段，否则会出错。 示例 返回选课学生的姓名及其所选的课程编号。 1 2 SELECT student_info.name, student_info
CTAS建表语句不能指定表的属性。 OBS目录下包含子目录的场景： 创建表时，若指定路径为OBS上的目录，且该目录下包含子目录（或嵌套子目录），则子目录下的所有文件类型及其内容也是表内容。 您需要保证所指定的目录及其子目录下所有文件类型和建表语句中指定的存储格式一致，所有文件内容和表中的字段一致，否则查询将报错。
示例说明：创建一个名为student的分区表，该分区表使用院系编号（facultyNo）和班级编号（classNo）进行分区，该student表会同时按照不同的院系编号（facultyNo）和不同的班级编号（classNo）分区。 在实际的使用过程中，您可以选择合适的分区字段并将其添加到PARTITIONED
在列表页面上方的搜索区域，您可以名称和标签筛选需要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义： 执行引擎：负责执行队列中任务的引擎类型。 默认版本：执行引擎的默认配置版本，或者是在没有指定特定版本时系统将使用的版本。 支持版本：执行引擎支持的所有版本列表。
有关共享VPC的更多信息，请参见《虚拟私有云用户指南》的“共享VPC”相关内容。 DLI使用场景 企业IT管理账号创建VPC和子网，并将该VPC和子网共享给其他企业业务账号，便于企业集中配置VPC安全策略，有利于资源有序集中管理。 企业业务账号使用共享的VPC和子网创建资源，并
修改普通队列的网段 使用增强型跨源时，如果DLI队列的网段和用户数据源的网段发生冲突，您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业，或者该队列已经绑定了增强型跨源，将不支持修改网段操作。 本节操作仅适用于普通队列，不适用于弹性资源池队列。
Hbase表导入数据，executor报错：RegionTooBusyException 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。
容，显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。 将Power
DLI对接LakeFormation功能的使用依赖于“湖仓构建”服务的上线状态，如需了解“湖仓构建”服务的上线范围请参考全球产品和服务。 操作流程 图1 操作流程 约束限制 在表1中提供了支持对接LakeFormation获取元数据的队列和引擎类型。 查看队列的引擎类型和版本请参考查看队列的基本信息。 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
