检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态扩缩容参数说明 名称 默认值 描述 flink.dli.job.scale.enable false 该配置表示是否开启动态扩缩的功能,即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时,表示不允许。 当前配置为true时,表示允许。
非常量,则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数
配置PRIMARY KEY,并且“connector.write.mode”配置为copy时,可以配置merge时的过滤列名。 connector.write.escape-string-value 否 是否对string类型值进行转义,默认为false。 注意事项 无 示例 使用gsjdb
force_serializable) 返回输入表达式的数据类型的字符串表示形式。默认情况下返回的字符串是一个摘要字符串,可能会为了可读性而省略某些细节。 如果 force_serializable 设置为 TRUE,则字符串表示可以保留在目录中的完整数据类型。请注意, 特别是匿名的内联数据类型没有可序列化的字符串表示。在这种情况下返回
IONED BY指定分区字段名和类型。具体可以参考Hive语法创建OBS分区表。 单表分区数最多允许100000个。 创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表。 创建OBS表的Hive语法可以参考使用Hive语法创建OBS表。 使用DataSource语法创建OBS表
不断写入,向Hive添加新数据,以增量方式提交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表,请参阅流式处理接收器。Streaming sink 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
'connector.channel' = '', 'format-type' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,“dis”表示数据源为数据接入服务,必须为dis。 connector.region
由DLI提供的元数据服务 SQL权限:不支持。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
Source算子checkpoint完成时间长时,检查该Hudi表Compaction是否正常。因为当长时间不做Compaction时list性能会变差。 流读Hudi MOR表时,建议开启log index特性提升Flink流读性能 Hudi的Mor表可以通过log index提升读写性能, Sink和Source表添加属性
调试 您可以在API Explorer中调试该接口。 URI GET /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/scale-records 表1 路径参数 参数 是否必选 参数类型
"fb"。 OVERLAY(string1 PLACING string2 FROM integer1 [ FOR integer2 ]) 返回一个字符串,该字符串从位置 INT1 用 STRING2 替换 STRING1 的 INT2(默认为 STRING2 的长度)字符。 例如 'xxxxxtest'
如果您需要对您所拥有的DLI服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能。 默认情况
参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,这里应该是 'csv'。 csv.field-delimiter 否 , String 字段分隔符 (默认','),必须为单字符。您可以使用反斜杠字符指定一些特殊字符,例如
对Spark组件不感知,仅仅可以使用该服务,且接口为封装式接口。 DLI的这种模式减轻了运维负担,可以更专注于数据处理和分析任务本身。 具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上,用户可以根据实际需求调整及优化Spark服务,支持各种接口调用。
15版本不支持生成静态流图。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id
array:array[index] - row:row.key array 的起始下标从 1 开始,即 array[1] 是 array 的第一个元素。 array 的元素必须同类型,row 的元素可以不同类型。 父主题: Flink SQL作业类
非常量,则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数
参数值可以是 'sequence' 或 'random',具体含义如下: random是默认的生成器,您可以通过“fields.#.max”和“fields.#.min”参数指定随机生成的最大和最小值。 当指定的字段类型为char、varchar、string时,可以同时通过“fields
int>>,新列名称需要指定为arraylike.element.col2。 col_type:新增列类型,必须指定。 nullable:新增列是否可以为空,可以缺省。 comment:新增列comment,可以缺省。 col_position:列添加位置包括FIRST、AFTER origin_col两种,指定FI