检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和滚动窗口很像，有窗口大小参数，另外增加了一个窗口滑动步长参数。如果滑动步长小于窗口大小，就能产生数据重叠的效果。在这个例子里，数据可以被分配在多个窗口。 例如：可以定义一个每5分钟滑动一次。大小为10分钟的窗口。
参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String 指定要使用的格式, 这里应该是 'raw'。 raw.charset 否 UTF-8 String 指定字符集来编码文本字符串。
图1 跨源认证用户授权 表1 用户授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置 使用：使用该跨源认证。 更新：更新该跨源认证。 删除：删除该跨源认证。 赋权：当前用户可将跨源认证的权限赋予其他用户。
注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
在SQL编辑器界面，单击“设置”，在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下，冒号前是配置项，冒号后是配置项的值。
在“创建委托”页面，设置如下参数： 委托名称：按需填写，例如“dli_obs_agency_access”。 委托类型：选择“云服务”。 云服务：（“委托类型”选择“云服务”时出现此参数项。）在下拉列表中选择“DLI"。 持续时间：选择“永久”。
如下脚本中的加粗参数请根据实际环境修改。
在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能，禁用后Spark将不会自动修剪掉那些不满足条件的分区。 更多属性参数配置请参考DLI SQL属性参数说明。
支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式，这里应该是 'csv'。
如下脚本中的加粗参数请根据实际环境修改。
表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型，需配置为'gaussdb'。
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
（参数意义与上面flink类似，不再做注释）： hoodie.table.name= hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=3 hoodie.datasource.write.precombine.field
无 高易用 学习成本 学习成本低，包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。
中的 strfmt 将不再支持使用“0$”指定第一个参数，第一个参数应始终由“1$”引用当使用参数索引来指示参数在参数列表中的位置。 Spark2.4.x：%0和%1均可表示第一个参数。 Spark3.3.x：不再支持%0。
DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。
参数中不能有Null值。 greatest(value1, value2, ..., valueN) 返回提供的最大值。 least(value1, value2, ..., valueN) → [same as input] 返回提供的最小值。
图2 导出数据 表1 参数说明 参数名称 描述 数据库 当前表所在的数据库。 表名称 当前表名称。 数据格式 导出数据的文件格式。当前只支持json格式。 队列 选择队列。 压缩格式 导出数据的压缩方式，选择如下压缩方式。
参考创建Spark作业配置作业参数。 作业编辑完成后，单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。 单击“确定”，完成Spark模板的创建。 父主题： 使用DLI提交Spark作业
参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式，此处应为 'canal-json'. canal-json.ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
