检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ce-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建弹性资源池。 请求示例 描述：在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为elastic_pool_dli的弹性资源池。 示例URL：POST
将原有跨源连接删除重新创建。再次创建时，必须确保所选“安全组”、“虚拟私有云”、“子网””和“目的地址”与RDS中的设置完全一致。 请选择正确的“服务类型”，本示例中为“RDS”。 图1 创建经典型跨源连接-RDS 检查安全组网络（vpc）配置。 若按照步骤1重建跨源连接后还是报错“communication
操作来产生新版本的Parquet文件，那旧版本的文件就不能被Clean清理，增加存储压力。 提交Spark jar作业时，CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内存资源，按照之
图6 新建Package和类文件 Package根据需要定义，本示例定义为：“com.huawei.demo”，完成后回车。 图7 自定义Package 在包路径下新建Java Class文件，本示例定义为：UDTFSplit。 图8 新建Java Class文件 编写UDTF函数代码。完整样例代码请参考样例代码。
证的权限。 修改当前用户的权限 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证，单击操作列“权限管理”进入开源认证的用户权限信息页面。 单击操作列的“权限设置”，修改当前用户的权限。详细权限描述如表1所示。 当“权限设置”中的选项为灰色时，表示
Package”，新建Package和类文件。 Package根据需要定义，本示例定义为：“com.dli.demo” 图6 新建Package 在包路径下新建Java Class文件，本示例定义为：AvgFilterUDAFDemo。 图7 创建类 编写UDAF函数代码。UDAF函数实现，主要注意以下几点：
使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不
E，A与B其中一个为NULL则返回FALSE。 A <> B BOOLEAN 若A与B不相等，则返回TRUE，否则返回FALSE。若A或B为NULL，则返回NULL，该种运算符为标准SQL语法。 A != B BOOLEAN 与<>逻辑操作符相同，该种运算符为SQL Server语法。
getResource("userData/fileName")加载该文件。 ClassName”为需要访问该文件的类名。 userData为固定文件路径名，不支持修改或自定义其他路径名。 fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink
湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.redis。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
过滤条件场景 过滤条件为>,<,>=,<=,=,!=,and,or 例如： 1 select * from tableName where (column1 >= value1 and column2<= value2) or column3 != value3 过滤条件为like 和 not
过滤条件场景 过滤条件为>,<,>=,<=,=,!=,and,or 例如： 1 select * from tableName where (column1 >= value1 and column2<= value2) or column3 != value3 过滤条件为like 和 not
DTx3UPK.datasource.com:9200" resource为指定在CSS关联的资源名。格式可以用"/index/type"指定资源位置（可简单理解index为database，type为table，但绝不等同）。 ES 6.X版本中，单个Index只支持唯一type，type名可以自定义。
column","name")”指定，name为列名 如果需要保存嵌套的DataFrame，则通过“.option("model","binary")”进行保存 如果需要指定数据过期时间：“.option("ttl",1000)”;秒为单位 读取redis上的数据 1 sparkSession
湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.mongo。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
LI作业运行过程中产生的临时数据，例如：作业日志、作业结果。具体操作请参考：配置DLI作业桶。 创建弹性资源池并添加SQL队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列
QL编辑器页面。 单击“设置”，在参数设置中选择“spark.sql.autoBroadcastJoinThreshold”参数，其值设置为“-1”。 重新单击“执行”，运行该作业，观察作业运行结果。 父主题： SQL作业开发类
那么导出的作业结果的路径为obs://bucket/src1/src2/test.csv 如果导出方式选择的是“覆盖指定路径” 在选择桶路径后，将作业结果导出至该路径下，如有重名文件将自动覆盖。 例如选择存储路径obs://bucket/src1/ 那么导出的作业结果的路径为obs://bucket/src1/test
database_name String 记录其操作的表所在的数据库名称。类型为IMPORT、EXPORT和QUERY的作业才有“database_name”属性。 table_name String 记录其操作的表名称。类型为IMPORT、EXPORT和QUERY的作业才有“table_name”属性。
DliException as e: print(e) return print(db) “default”为内置数据库，不能创建名为“default”的数据库。 完整样例代码和依赖包说明请参考：Python SDK概述。 删除数据库 DLI提供删除
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
