检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是 Delta 表。 注意事项 分区表转换需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled为false。
连接容器镜像服务。 登录SWR管理控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
在列名列表中的每一列，其值会设置为null。 如果没有指定列名列表，则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时，会往表中追加数据，而使用insert overwrite时，如果表属性“auto.purge”被设置为“true”，直接删除原表数据，再写入新的数据。
Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 canal-json.timestamp-format.standard 否 'SQL' String 指定输入和输出时间戳
query的运行得到错误的结果或者非预期的异常。 解决方案：将作业参数 table.exec.source.cdc-events-duplicate 设置成true，并在该source上定义PRIMARY KEY。 框架会生成一个额外的有状态算子，使用该primary key来对变更事件去重
key不均衡场景下，group聚合计算存在单点或者数据倾斜问题，此时，可以通过将聚合计算拆分成Local-Global进行优化。配置方式为设置调优参数: table.optimizer.aggphase-strategy=TWO_PHASE count distinct优化 在count
Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 json.timestamp-format.standard 否 'SQL' String 声明输入和输出的TIMESTAMP和TIMESTAMP
2 可以为负数，使值的小数点左边的 integer2 位变为零。 此函数也可以传入只有一个 numeric1 参数且不设置 Integer2 以使用。 如果未设置 Integer2 则 Integer2 为 0。 例如 42.324.truncate(2) 为 42.32，42.324
RESTORE TABLE [db_name.]table_name TO initial layout; 关键字 SET TBLPROPERTIES：设置表属性，开启多版本功能。 UNSET TBLPROPERTIES：取消表属性，关闭多版本功能。 参数说明 表1 参数描述 参数 描述 db_name
orderkey, orderstatus, totalprice / 4 AS quarter FROM orders 创建一个视图的同时设置表属性： create or replace view view1 comment 'the first view' TBLPROPER
跳转至“Spark作业编辑”页面，可根据需要修改参数，执行作业。 查找作业 在“Spark作业”页面，选择“状态”或“队列”。系统将根据设置的过滤条件，在作业列表显示符合对应条件的作业。 终止作业 在“Spark作业”页面，单击对应作业“操作”列中的“更多”>“终止作业”，可停止启动中和运行中的作业。
在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。
开通自动续费”。 批量资源开通自动续费：选择需要开通自动续费的资源，单击列表左上角的“更多 > 开通自动续费”。 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 图3 开通自动续费 父主题： 续费
x：空值在CSV数据源中为""。 Spark3.3.x：空值在CSV数据源中无引号。 如需在Spark3.3.x版本中恢复Spark2.4.x的格式，可以通过设置spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。 升级引擎版本后是否对作业有影响：
升级引擎版本后是否对作业有影响： 有影响，需要判断是否使用分区名做业务判断。 eventlog的压缩格式设置为zstd 说明： Spark3.3.x版本中，spark.eventLog.compression.codec的默认值被设置为zstd，Spark在压缩事件日志时将不再支持使用spark.io.compression
Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“
// 设置两次checkpoint的最小间隔时间 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(60000); // 设置checkpoint超时时间
Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 json.timestamp-format.standard 否 'SQL' String 声明输入和输出的 TIMESTAMP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
