检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？ 想要使用扫描套餐包计费，购买队列还要额外收费吗？ 超出套餐包额度的使用量怎么收费？ 弹性资源池的实际CUs、CU范围、规格的含义
在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。 创建全局变量 在DLI控制台左侧导航栏中单击“全局配置 > 全局变量”。 在“全局变量”页面，单击右上角“创建变量”，可创建新的全局变量。
ch_id} 查询所有批处理作业 listAllBatchJobs - GET /v2.0/{project_id}/batches 查询批处理作业详情 - - GET /v2.0/{project_id}/batches/{batch_id} 查询批处理作业状态 getStateBatchJob
DLI资源配额类 什么是用户配额？ 怎样查看我的配额 如何申请扩大配额
CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flin
值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using 参数delta，定义和创建Delta table table_comment 表的描述信息。 location_path Delta表的存储位置，当前版本通过表名创建Delta表时必须指定，且只支持obs路径，指定该路径Delta
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射
设置普通队列的弹性扩缩容定时任务 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。
version.enable"); 开启多版本功能后，在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后，需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name
DROP COLUMN不支持rctext、rcbinary、rcfile 格式存储的表。由于connector对不同文件格式的列访问模式不同，drop column后可能会出现查询失败的情况，例如： 对于orc格式存储的非分区表 ，drop column后如果查询失败，需要设置Session属性：
要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable Administrator权限。 vpc_netadm：使用VPC（虚拟私有云）的VPC Administrator权限。
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
XTERNAL可用于指定创建外部表；STORED AS能被用于指定文件存储的格式；LOCATION能被用于指定在OBS上存储的路径。 示例 创建一个新表orders，使用子句with指定创建表的存储格式、存储位置、以及是否为外表。 通过“auto.purge”参数可以指定涉及到数
步骤3：创建专属队列和VPC的增强型跨源连接 在DLI管理控制台左侧导航栏中，选择“跨源管理”。 选择“增强型跨源”页签，单击左上角的“创建”按钮。 输入连接名称，选择创建的弹性资源池/队列，虚拟私有云，子网，输入主机信息（可选）。 图4 创建增强型跨源连接 步骤4：购买弹性公网IP
建议对流批业务实施资源池的精细化管理，将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。 优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容，显著提升扩缩容的成功率和操作效率。
proctime表示table1的proctime处理时间属性(计算列) 使用FOR SYSTEM_TIME AS OF table1.proctime表示当左边表的记录与右边的维表join时，只匹配当前处理时间维表所对应的的快照数据。 注意事项 仅支持带有处理时间的 temporal tables
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
