检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每次从数据库拉取数据的行数。若指定为0，则会忽略sql hint。 scan.auto-commit 否 true Boolean 是否设置自动提交，以确定事务中的每个statement是否自动提交 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。用户若配
String 分隔数组和行元素的字符串(默认';'). csv.escape-character 否 (none) String 转义字符(默认关闭). csv.null-literal 否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。
Spark SQL（设置如下参数，写数据时触发） hoodie.clustering.inline=true // 默认值 false，即默认为关闭状态 hoodie.clustering.inline.max.commits=4 // 默认值为4，根据业务场景指定 hoodie.clustering
在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，勾选相应的模板，单击“操作”列的“执行”，将跳转至“SQL编辑器”页面，并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方，单击“执行”运行SQL语句，执行结束后，可以在SQL作业编辑窗口下方区域中查看执行结果。
配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
功能描述 创建DWS表用于与输入流连接，从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因
properties.* 否 无 String 设置和传入任意的Kafka原生配置文件。 注意： 后缀名必须匹配在Apache Kafka中的配置键。 例如关闭自动创建topic：'properties.allow.auto.create.topics' = 'false'。 存在一些配置不支持配置，如'key
一次，而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时，使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create table shipping(origin_state varchar(25),origin_zip
规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表，都需要开启Archive。 Hudi表在写入数据时会自动判断是否需要执行Archive，因为Archive的开关默认打开(hoodie.archive.automatic默认为true)。 Ar
connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector
查询SQL作业日志 登录DLI管理控制台，单击“作业管理 > SQL作业”。 选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题：
FAILED：已失败 resource_id 否 String 弹性资源池的资源ID。 fail_reason 否 String 弹性资源池创建失败原因。 enterprise_project_id 否 String 企业项目ID。 prepay_cu 否 Integer 预付费CU数量。
隔时间内没有时间出现，该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟，当其不活跃的时间达到30分钟后，若观测到新的记录，则会启动一个新的会话时间窗口（否则该行数据会被添加到当前的窗口），且若在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。
Flink作业咨询类 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使
XXX。 DATE->TIMESTAMP自动补齐时间，补零 '2010-01-01' -> 2010-01-01 00:00:00.000。 TIME->TIME WITH TIME ZONE自动补齐时区。 TIME->TIMESTAMP自动补齐日期，取默认值1970-01-01。
址，配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导，介绍如何通过设置SNAT规则和配置路由信息，实现DLI服务与公网的网络连接。 操作流程 图1 配置DLI队列访问公网流程 步骤1：创建VPC 登录虚拟私有云控制台，创建虚拟私有云。创建的VPC供NAT访问公网使用。
String 分隔数组和行元素的字符串(默认';'). csv.escape-character 否 (none) String 转义字符(默认关闭). csv.null-literal 否 (none) String 是否将 "null" 字符串转化为 null 值。 数据类型映射 目前
再上线），建议您使用包年/包月计费模式，可以更优惠。同时，按需计费的队列，在空闲1小时后（队列空闲是指该队列上没有正在运行的作业），系统会自动释放计算资源，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况，节省等待时间。 产品定价
参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会自动转换为STRING类型后参与运算。 例如“ABC” 返回值说明 返回BIGINT的值。 str非STRING、BIGINT、DOUBLE、
Spark 3.1.1版本停止服务（EOS）公告 公告说明 华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。 影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
