检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
insert into test_parquet_hw select * from test_csv_hw 检查结果，如图5所示，系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
再上线），建议您使用包年/包月计费模式，可以更优惠。同时，按需计费的队列，在空闲1小时后（队列空闲是指该队列上没有正在运行的作业），系统会自动释放计算资源，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况，节省等待时间。 产品定价
表6 job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true：开启 false：关闭 默认为“false”。 checkpoint_mode 否 String 快照模式,。两种可选：
配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type
SERIALIZABLE 默认值为“READ_UNCOMMITTED”。 注意事项 创建RDS关联表时，不需要指定关联表的Schema。DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。 示例 访问MySQL 1 2 3 4 5 6 7 CREATE TABLE IF
DLI表数据的生命周期管理功能（dli.lifecycle.days），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）DLI自动回收。这个指定的时间就是生命周期。生命周期管理功能方便您释放存储空间，简化回收数据的流程。同时提供数据备份与恢复功能，避免因误操作丢失数据。
配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type
配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type
配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type
队列和弹性资源池状态正常，资源未被冻结。 弹性资源池扩缩容 弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化，部分情况下系统无法保证按计划扩容/缩容至目标CUs： 弹性资源池扩容时，可能会由于物理
表4 job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true：开启 false：关闭 默认为“false”。 checkpoint_interval 否 Integer 快照时间间隔。
table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数，驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数，则该参数值固定为“ru.yandex.clickhouse.ClickHouseDriver”。
clause to specify it. 包含自动生成的别名时创建视图失败 说明： Spark2.4.x：Spark2.4.x版本中如果语句中包含自动生成的别名，则正常执行且无提示信息。 Spark3.3.x：Spark3.3.x版本中如果语句中包含自动生成的别名，则创建/更改视图将失败。
每次从数据库拉取数据的行数。默认值为0，表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。
VARCHAR生成时会带有一个长度指定数，用来定义字符串中的最大字符数。如果一个向VARCHAR转换的STRING型中的字符个数超过了长度指定数，那么这个STRING会被自动缩短。和STRING类型一样，VARCHAR末尾的空格数是有意义的，会影响比较结果。DLI中实际存储为STRING类型。 DATE DAT
配置完成后，单击“立即购买”。 “虚拟私有云”为步骤1：创建VPC创建的VPC。 添加路由。 进入VPC的路由表，配置路由规则。通常NAT创建成功会自动创建到NAT网关的路由。 目的地址为访问的公网IP地址，下一跳为NAT网关。 图6 添加路由 添加SNAT规则。 为新建的NAT网关添加S
每次从数据库拉取数据的行数。默认值为0，表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。
则。 DLI支持的SQL防御系统规则 本节操作介绍DLI支持的系统防御规则，详细信息参考表2。 系统默认创建的规则是指在队列创建时，DLI自动为您创建的SQL防御规则，该规则与队列绑定，且不支持删除。 以下规则为系统默认创建的规则：Scan files number、Scan partitions
保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”，默认值为“20”。 feature
即当spark.executor.memory * spark.executor.memoryOverheadFactor的值小于384M时系统自动配置为384M。 spark.executor.memoryOverheadFactor 该参数定义了堆外内存分配量与堆内内存分配量之比，spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
