检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果作业提交1分钟内立即失败，通常不会触发消息通知。 如果作业提交1分钟后失败，则系统将会自动发送消息到您指定的订阅终端。 操作步骤 在“资源管理 > 队列管理”页面，单击左上角“创建消息通知主题”。 图1 创建消息通知主题 选择队列，单击“确定”。 选择队列时，可以选择单个队列，也可以选择所有队列。
利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。
生效。 Spark作业操作步骤 在“Spark参数”中配置如下参数，其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业，单击操作列下的编辑。 在“Spark参数”中配置spark
使用DLI资源ID查找资源时，包含以下操作： 在费用中心账单中获取DLI资源ID。 并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。 详细操作步骤如下： 在费用中心账单中获取资源ID。 登录管理控制台，在顶部菜单栏中选择“费用与成本 >
数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面； 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据，则按照存储计费的标准计费。 计费详情可参考《数据湖探索价格详情》。
15:50:04购买了包年/包月弹性资源池（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上（假设每天累计12个小时实际CUs为128CUs，超出规格64CUs。），因此在2023/03/10 15:50:04变更弹性资源池规格为128CU
管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle，且仅按需专属队列和包周期队列支持增强型跨源。因此仅按需专属队列和包周期队列支持在SQL作业中连接Oracle数据库。 语法格式 1 2 3 4 5 6 7 8 9 CREATE TABLE [IF NOT EXISTS]
该示例是从Datagen数据源中生成数据，并将结果写入到Doris结果表中。 参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向
配置Hudi数据列默认值 该特性允许用户在给表新增列时，设置列的默认值。查询历史数据时新增列返回默认值。 使用约束 新增列在设置默认值前，如果数据已经进行了重写，则查询历史数据不支持返回列的默认值，返回NULL。数据入库、更新、执行Compaction、Clustering都会导致部分或全部数据重写。
位。 在DLI中，表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置，并指定了数据的结构，例如列名称、数据类型和表名称。数据库是表的逻辑分组。 OBS表、DLI表、CloudTable表 不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。
效。 设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业，单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark
当自定义路由表被关联至子网时，则无法删除。 请先通过更换子网关联的路由表将子网关联到其他的路由表，然后尝试删除。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待添加路由的增强型跨源连接，并删除路由。 方法一： 选择待删除的增强型跨源连接，单击操作列的“路由信息”。
作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。 按需计费以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。
该示例是从Doris源表读取数据，并输入到 print connector。 参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向
该示例是从Doris源表读取数据，并输入到 print connector。 参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris和kafka的安全
具体请参考表1。 操作步骤如下： 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要设置弹性扩缩容定时任务的队列，单击“操作”列“更多”中的“弹性扩缩容定时任务”。 在“弹性扩缩容定时任务”页面，单击右上角的“创建定时任务”。 在“创建定时任务”页面，设置参数。单击“确定”。
为什么SQL作业一直处于“提交中”？ SQL作业一直在提交中，有以下几种可能： 刚购买DLI队列后，第一次进行SQL作业的提交。需要等待5~10分钟，待后台拉起集群后，即可提交成功。 若刚刚对队列进行网段修改，立即进行SQL作业的提交。需要等待5~10分钟，待后台重建集群后，即可提交功。
怎样查看弹性资源池和作业的资源使用情况？ 在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的
创建Hbase维表 功能描述 创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何
修改DLI程序包所有者 DLI提供了修改程序包组或程序包的所有者的功能。 登录DLI管理控制台，选择“数据管理 > 程序包管理”。 在“程序包管理”页面，单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置，选择“组”或者“程序包”进行修改。 图1 修改程序包所有者
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
