检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类，请参照 Hudi锁配置说明。 登录DLI管理控制台，选择“作业管理 > Spark作业”，进入到Spark作业的界面。 提交Hudi相关的Spark jar作业需要选择Spark版本为3.3.1，且使用的通用队列需要支持Hudi。
创建所需要的DIS通道，具体流程可参开通DIS通道。 在DIS控制台，打开“App管理 > 创建App”，填写App名称，App名称对应的是代码中的groupId。 图1 创建App 创建Flink Jar对应的程序包。 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建程序包”，创建Flink Jar对
DLI表与OBS表有什么区别？ DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。 父主题： DLI产品咨询类
E_DEFAULT_PARTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。 解决方案 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。 在参数设置中，添加参数“spark.sql.forcePartitionPredicatesOnPartitionedTable
登录DLI控制台，参考创建弹性资源池并添加队列创建一个最小CU数为128CU和最大CU数为256CU的弹性资源池。 单击“资源管理 > 弹性资源池”，在已创建的弹性资源池所在行的“操作”列单击“队列管理”。 参考创建弹性资源池并添加队列添加队列test_a，在添加队列扩缩容配置步骤里面添加扩缩容策略。
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证（普通模式） Doris的表名是区分大小写。
址： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 实例”，获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer实例的http端口： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse
置详见LakeFormation文档。 系统响应 Table创建成功，创建的Hudi表可以进入DLI控制台，在左侧菜单栏选择”数据管理”->”库表管理”，随后筛选数据库并点击名称，进入表列表查询。 父主题： Hudi DDL语法说明
tor或数据处理逻辑。 适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题： 使用DLI提交Flink作业
enterprise_project_id 否 String 企业项目ID。0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云（VPC）的网段。例如：10
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 若需要使用upser
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证（普通模式）。 Doris的表名是区分大小写。
“0”：忽略。 entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名，用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。 dependency_files
partition(part='part1') select * from table2; ALTER TABLE ADD/DROP PARTITION管理分区 alter table test_delta_parts1 add partition('2024-10-28'); CONVERT
Array of Strings 用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 pyFiles 否 Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。
enterprise_project_id 是 String 企业项目ID，“0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String 资源ID。 请求示例 无 响应示例 {
C（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
保证JobManager的JVM可用的堆内存量 flink_jobmanager_Status_JVM_Memory_Heap_Max JobManager中可用于内存管理的最大堆内存量 flink_jobmanager_Status_JVM_Memory_NonHeap_Used JobManager的堆外内存使用量
DDS，数据仓库服务GaussDB（DWS），MapReduce服务MRS，云数据库RDS等。使用DLI的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。
为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
