检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.d
按需计费成本更低，无需任何预付款。 包年/包月+按需计费：假设弹性资源池的规格为64CU，实际使用过程中大部分时间CU数在128CU以上，没有规格变更的场景下64CU部分采用包年包月计费，超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费，则可以通过规格
生产项目：在此项目下，您的作业相对稳定（经过开发调试再上线），建议您使用包年/包月计费模式，可以更优惠。同时，按需计费的队列，在空闲1小时后（队列空闲是指该队列上没有正在运行的作业），系统会自动释放计算资源，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况，节省等待时间。
导入到DLI时需要手动选择DLI的分布列，建议按如下顺序选取： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如果需要转换源端字段内容，可在该步骤配置，详细请参见字段转换，这里选择不进行字段转换。
size 64 否 异步转换 Arrow 格式的内部处理队列，当doris.deserialize.arrow.async 为 true 时生效。 doris.read.field -- 否 读取 Doris 表的列名列表，多列之间使用逗号分隔。 doris.filter.query
integer2 位小数的数字。如果 numeric1 或 integer2 为 NULL，则返回 NULL。 如果 integer2 为 0，则结果没有小数点或小数部分。integer2 可以为负数，使值的小数点左边的 integer2 位变为零。 此函数也可以传入只有一个 numeric1
的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA，则本参数为默认的“public”。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*）
本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。队列资源按需分配，按扫描量计费，适用于测试项目场景，资源消耗不高，按需计费成本更低，无需任何预付款。
向表中插入新的数据行。 如果指定了列名列表，那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列，其值会设置为null。 如果没有指定列名列表，则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时，会往表中追加数据，而使用insert o
导入数据源的文件格式。导入支持CSV，Parquet，ORC，JSON，Avro格式。编码格式仅支持UTF-8。 CSV 数据源路径 直接输入路径或单击选择OBS的路径，如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹
al_temp_view"); // 注册为spark临时表 // 结果必须根据startTime和endTime进行过滤，如果没有指定endTime，则只需要根据startTime进行过滤 spark.sql("select * from hudi_incremental_temp_view
'obs://dli-test-obs01/MyUDAF-1.0-SNAPSHOT.jar'; 重启原有SQL队列，使得创建的Function生效。 登录数据湖探索管理控制台，选择“资源管理”》“队列管理”，在对应“SQL队列”类型作业的“操作”列，单击“更多”》“重启”。 在“重启队列”界面，选择“确定”完成队列重启
'obs://dli-test-obs01/MyUDTF-1.0-SNAPSHOT.jar'; 重启原有SQL队列，使得创建的UDTF函数生效。 登录数据湖探索管理控制台，选择“资源管理 > 队列管理”，在对应“SQL队列”类型作业的“操作”列，单击“重启”。 在“重启队列”界面，选择“确定”完成队列重启。
使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。该驱动为默认，创建表时可以不填该驱动参数。 表car_info没有在schema下时。 1 2 3 4 5 6 7 8 9 10 11 12 create table dwsSource(
Caused by: java.net.SocketTimeoutException: connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，则应该如何配置？
如果整个作业刚开始运行或者在提交中，则进度展示为0；如果作业运行结束，则进度展示为1。此时progress表示整个作业的运行进度，因为没有子作业在运行，sub_job_id不展示。 如果有子作业在运行中，则展示该子作业的运行进度，progress的计算方法为：子作业已经完成的
"connection_id": "2a620c33-5609-40c9-affd-2b6453071b0f" } （可选）如果创建增强型跨源连接时，没有绑定队列，可使用绑定队列接口进行绑定。 确认增强型跨源连接创建成功。 接口相关信息 URI格式：GET /v2.0/{project_id
Caused by: java.net.SocketTimeoutException: connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，则应该如何配置？
配置该参数。 空闲状态保留时长 用于清除GroupBy、RegularJoin、Rank、Depulicate等算子经过最大保留时间后仍未更新的中间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 “脏数据策略”选择
参考设置wal_level参数为logical。 PostgreSQL参数修改完成后，需要重启下RDS PostgreSQL实例，使得参数生效。 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ java.lang.IllegalStateException:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
