检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每次从数据库拉取数据的行数。默认值为0,表示不限制。 scan.auto-commit 否 true Boolean 设置自动提交标志。 它决定每一个statement是否以事务的方式自动提交。 lookup.cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。
= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“规格变更”将弹性资源池规格调整为80CUs,规格变更后,CU范围的最小值自动调整为与规格一致大小的CU。 示例2:按需计费的弹性资源池,实际CUs:64CUs、CU范围:64CUs - 96CUs。计划调整CU范围:80CUs
"pay_time" 16) "2021-03-24 10:02:03" 常见问题 Q:当data-type为set时,最终结果数据相比输入数据个数少了是什么原因? A:这是因为输入数据中有重复数据,导致在Redis的set中会进行排重,因此个数变少了。 Q:若Flink作业的日志中有如下报错信息,应该怎么解决?
id 对 source 可选,不适用于 sink 无 String Kafka source 的消费组 id。如果未指定消费组 ID,则会使用自动生成的 "KafkaSource-{tableIdentifier}" 作为消费组 ID。 properties.* 否 无 String
preferSortMergeJoin(是否优先使用SortMergeJoin) dli.sql.autoBroadcastJoinThreshold(自动使用BroadcastJoin的数据量阈值) dli.sql.caseSensitive(sql语句是否大小写敏感) dli.sql.shuffle
保存Spark作业的obs桶,需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能,如果开启,可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”,默认值为“20”。 feature
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
新建的弹性资源池名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 说明: 若名称中包含大写字母,将会自动转换为小写字母。 description 否 String 描述信息。长度限制:256个字符以内。 cidr_in_vpc 否 String
_management_agency的委托。请勿删除系统默认创建的dli_management_agency委托,否则会导致委托包含的权限自动取消,系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。
开启Flink作业动态扩缩容后,系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时,系统将自动减少作业所在节点的数量,确保作业高效运行,同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
创建作业 使用当前模板创建作业。 格式化 对SQL语句进行格式化,将SQL语句格式化后,需要重新编辑SQL语句。 主题设置 更改字体大小、自动换行、页面风格(黑色底或白色底)等配置。 在SQL语句编辑区域,输入SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。
SERIALIZABLE 默认值为“READ_UNCOMMITTED”。 注意事项 创建DWS关联表时,不需要指定关联表的Schema。DLI会自动获取DWS中对应参数"dbtable"中的表的Schema。 示例 1 2 3 4 5 6 CREATE TABLE IF NOT EXISTS
connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 数据库认证用户名,需要和'connector.password'一起配置 connector
SERDEPROPERTIES:Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上
元存储中的定义。Hints | Apache Flink Vectorized Optimization upon Read 当满足以下条件时,Flink 会自动对 Hive 表进行矢量化读取: 格式:ORC 或 Parquet。 没有复杂数据类型的列,如配置单元类型:List、Map、Struct、Union。
yandex.clickhouse.ClickHouseDriver String 连接数据库所需要的驱动。 如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数,则该参数值固定为“ru.yandex.clickhouse.ClickHouseDriver”。
源扩缩容。 而弹性资源池缩容可能会触发缩容含有shuffle数据的节点,会导致Spark Task重算,引起Spark作业和SQL作业内部自动重试,当作业重试超过限制会导致作业执行失败,需用户重新执行作业。 Spark2.3版本作业需要升级作业版本后才能支持运行中动态缩容功能。 Spark
如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。 数据库所有者、表所有者、被赋予“赋权权限”的用户都可以对数据库和表赋权。 列只能继承查
单引号('')包围起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”,例如:PARTITION