检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在提交导入作业前，可选择设置导入数据的格式，如样例所示，调用ImportJob对象的setStorageType接口设置数据存储类型为csv，数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前，可选择设置导入数据的分区并配置是否是
Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发） hoodie.clean.automatic=true
时延 指事件从源端算子到达本算子的过程中消耗的时间，单位为毫秒（ms）。 发送的记录数 算子发送数据的记录。 发送的字节数 算子发送的字节数。 接受的字节数 算子接收的字节数。 接受的记录数 算子收到数据的记录。 开始时间 算子运行开始时间。 结束时间 算子运行结束时间。 查看Flink作业执行计划
table-name、connector.key-column作为redis的key。redis的hash类型，每个key对应一个hashmap，hashmap的hashkey为源表的字段名，hashvalue为源表的字段值。 connector.use-internal-schema 否
JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
当data-type为set时，Flink中定义的非主键字段的数据类型必须相同。 当data-type为sorted-set并且schema-syntax为fields和array时，只能读取redis的sorted set中的值，而不能读取score。 当data-type为string时，只能有一个非主键字段。
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
cache.ttl时，缓存中最先添加的条目将被标记为过期。缓存中的记录可能不是最新的，用户可以将Lookup.cache.ttl设置为一个更小的值以获得更好的刷新数据，但这可能会增加发送到数据库的请求数。所以要做好吞吐量和正确性之间的平衡。 默认情况下，Flink会缓存主键的空查询结果，您可以通过将Lookup
将二者生成的宽表信息写入Kafka结果表中，其具体步骤如下： 参考增强型跨源连接，在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通
Integer MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID，该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup
否 写数据失败时的最大尝试次数。默认值为3 connector.write.exclude-update-columns 否 默认值为空（默认忽略primary key字段），表示更新主键值相同的数据时，忽略指定字段的更新 注意事项 无 示例 将流jdbcSink的数据输出到MySQL数据库中。
参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。
当data-type为set时，Flink中定义的非主键字段的数据类型必须相同。 当data-type为sorted-set并且schema-syntax为fields和array时，只能读取redis的sorted set中的值，而不能读取score。 当data-type为string时，只能有一个非主键字段。
TUMBLE窗口结束之前，可以根据设置的触发频率周期性地触发窗口，输出从窗口开始时间到当前周期时间窗口内的计算结果值，但不影响最终窗口输出值，从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后，允许设置延迟时间。根据设置的延迟时间，每到达一个迟到数据，则更新窗口的输出结果 注意事项
查看其他用户具备的权限：当前用户可查看其他用户具备的该全局变量的权限。 设置全局变量权限 单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。详细权限描述如表2所示。 当“权限设置”中的选项为灰色时，表示您不具备修改此全局变量的权限。可以向管理员用户、组所有者等具有赋权权限的用户申请“全局变量”权限。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
SQLUsername，它的值为用户的敏感信息。 'password' = 'MySQLPassword', -- DEW服务中，名称为secretInfo，且版本号v1的的通用凭证，定义凭证值的键MySQLPassword，它的值为用户的敏感信息。 'sink.buffer-flush
table_name 描述 从表或分区中移除所有行。当表属性“auto.purge”采用默认值“false”时，被删除的数据行将保存到文件系统的回收站，否则，当“auto.purge”设置为“true”时，数据行将被直接删除。 限制 目标表必须是管控表（表属性external=false），否则执行语句将报错。
DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk
DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
