检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SERIALIZABLE 默认值为“READ_UNCOMMITTED”。 注意事项 创建RDS关联表时,不需要指定关联表的Schema。DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。 示例 访问MySQL 1 2 3 4 5 6 7 CREATE TABLE IF
表4 job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true:开启 false:关闭 默认为“false”。 checkpoint_interval 否 Integer 快照时间间隔。
table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数,则该参数值固定为“ru.yandex.clickhouse.ClickHouseDriver”。
table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数,则该参数值固定为“ru.yandex.clickhouse.ClickHouseDriver”。
跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。 说明: 指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。
VARCHAR生成时会带有一个长度指定数,用来定义字符串中的最大字符数。如果一个向VARCHAR转换的STRING型中的字符个数超过了长度指定数,那么这个STRING会被自动缩短。和STRING类型一样,VARCHAR末尾的空格数是有意义的,会影响比较结果。DLI中实际存储为STRING类型。 DATE DAT
注意事项 使用文件系统输出流的Flink作业必须开启checkpoint,保证作业的一致性。 为了避免数据丢失或者数据被覆盖,开启作业异常自动重启或者手动重启,需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡,比如10分钟。
跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。 说明: 指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。
注意事项 使用文件系统输出流的Flink作业必须开启checkpoint,保证作业的一致性。 为了避免数据丢失或者数据被覆盖,开启作业异常自动重启或者手动重启,需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡,比如10分钟。
每次从数据库拉取数据的行数。默认值为0,表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。
VARCHAR生成时会带有一个长度指定数,用来定义字符串中的最大字符数。如果一个向VARCHAR转换的STRING型中的字符个数超过了长度指定数,那么这个STRING会被自动缩短。和STRING类型一样,VARCHAR末尾的空格数是有意义的,会影响比较结果。DLI中实际存储为STRING类型。 DATE DAT
配置完成后,单击“立即购买”。 “虚拟私有云”为步骤1:创建VPC创建的VPC。 添加路由。 进入VPC的路由表,配置路由规则。通常NAT创建成功会自动创建到NAT网关的路由。 目的地址为访问的公网IP地址,下一跳为NAT网关。 图6 添加路由 添加SNAT规则。 为新建的NAT网关添加S
每次从数据库拉取数据的行数。默认值为0,表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。
每次从数据库拉取数据的行数。默认值为0,表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。
跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。 说明: 指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。
保存Spark作业的obs桶,需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能,如果开启,可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”,默认值为“20”。 feature
则。 DLI支持的SQL防御系统规则 本节操作介绍DLI支持的系统防御规则,详细信息参考表2。 系统默认创建的规则是指在队列创建时,DLI自动为您创建的SQL防御规则,该规则与队列绑定,且不支持删除。 以下规则为系统默认创建的规则:Scan files number、Scan partitions
跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时,该参数有效。 说明: 指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。
20150907T101459Z X-Language 请求语言。 否 en-us API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 例如,对于IAM获取用户Token
以Source为例进行说明,Sink的使用方法相同。 支持配置Json_schema 配置了json_schema后,可以不声明DDL中的字段,自动从json_schema中生成。使用示例如下: CREATE SOURCE STREAM data_with_schema WITH (