检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 3.1.1版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务热线（4
作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 2.3.2版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务热线（4
示例 下面的示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 规格变更：当前用户对于包年包月的弹性资源池可以执行规格变更操作。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。 回收：当前用户可回收其他用户具备的该弹性资源池的权限，但不能回收该弹性资源池所有者的权限。
用户可以将所创建的Flink作业导出至OBS桶中。 适用于当用户切换区域、项目或用户时，需要创建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 切换项目或用户时，需要对新项目或用户授权，具体请参考配置Flink作业权限。
Integer 偏移量。默认为0。 status 否 String 弹性资源池状态。具体参数范围如下： AVAILABLE：可使用 SCALING：规格变更中 CREATING：创建中 FAILED：已失败 tags 否 String 查询根据标签进行过滤。 请求消息 无。 响应消息 表3 响应参数说明
误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作，变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小，用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时，可能
中大部分时间CU数在128CU以上，没有规格变更的场景下64CU部分采用包年包月计费，超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费，则可以通过规格变更的方式，将弹性资源池的规格扩大到128CU，则规格变更成功后128CU范围内都使用包年包月计费，整
在“分配至项目”页面，选择企业项目。 您还可以单击“新建企业项目”，前往企业项目管理控制台，新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费，弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后，单击“确定”，保存队列的企业项目信息。 相关操作
弹性资源池支持按需和包年包月的购买方式。 不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择数据湖探索，进入DLI主界面。如果在“队列管理”页面可以查看队列列表，但是单击右上角“购买队列
DATA_MIGRATION：数据迁移。 RESTART_QUEUE：重启队列。 SCALE_QUEUE： 队列规格变更（扩容/缩容）。 状态 作业的状态信息，包括如下。 提交中 运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作，此处展示操作的描述。 单击可复制对应的语句。
如果被授权的项目属于相同区域（region）的不同用户，则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域（region）的同一用户，则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源，对应操作如下。 对于项目A： 使用项目A对应的账号登录DLI服务。 通过对应数
已经预先支付了资源费用，因此在账户出现欠费的情况下，已有的包年/包月资源仍可正常使用。然而，对于涉及费用的操作，如新购资源、弹性资源池规格变更、续费订单等，用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后，账号将变成欠费状态。欠费后，资源进入宽限期，不
约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目，请在每个需要新委托的项目分别执行更新委托操作，即切换至对应项目后，再按照本节的操作更新委托权限。 更新DLI委托权限（dli_management_agency） 在DLI控制台左侧导航栏中单击“全局配置
本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如：“log4j.properties”或者“logback.xml”等） 日志输出实现类JAR包（例如：log4j等）
据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show
non-strict模式，对主键表采用insert处理。 upsert模式，对于主键表的重复值进行更新操作。 在提交Spark SQL作业时，用户可以在设置中配置以下参数，切换bulk insert作为Insert语句的写入方式。 hoodie.sql.bulk.insert.enable = true hoodie
REVOKE_PRIVILEGE：权限回收 SHOW_PRIVILEGES：查看其它用户具备的权限 RESTART：重启队列 SCALE_QUEUE：规格变更 说明： 若需更新的权限列表为空，则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
”队列管理”。在队列管理的界面筛选并选中需要查询的队列，随后点击窗口底部的窗格，展开隐藏的队列详情页面，在支持版本即可查看可用的计算引擎版本。对于SQL队列，无法切换版本，查看默认版本即可判断当前使用的计算引擎版本。 父主题： Hudi表概述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
