检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RANGE 间隔: RANGE 间隔 RANGE 间隔是定义在排序列值上的,在 Flink 里,排序列总是一个时间属性。下面的 RANG 间隔定义了聚合会在比当前行的时间属性小 30 分钟的所有行上进行。 RANGE BETWEEN INTERVAL '30' MINUTE PRECEDING
n-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 sql_body 是 String SQL。
DK代码示例调试功能。 URI GET /v3/{project_id}/{resource_type}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
ommit数量等参数,参见Hudi常见配置参数。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
上传中(Uploading):表示程序包正在上传。 已成功(Finished):表示程序包已经上传。 已失败(Failed):表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作 权限管理:对程序包用户进行权限管理。 删除:删除程序包。 更多: 修改所有者:修改程序包用户。 标签:添加或编辑程序包标签。
参数,在OBS桶选项中选择日志保存的位置,方便后续作业提交失败或运行异常时,查看日志并分析问题原因。 Elasticsearch结果表根据是否定义了主键确定是在upsert模式还是在append模式下工作。 如果定义了主键,Elasticsearch Sink将在upsert模式
使用DEW管理数据源访问凭证 使用DLI提交作业读写外部数据源数据时,需要妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、
8点到12点业务比较空闲,资源有剩余,部门B在这个时间段业务请求量大,原有资源规格满足不了,需要扩容时,请求不了部门A的队列资源,造成资源浪费。 图3 资源隔离造成的资源浪费 弹性资源池通过“分时按需弹性”功能,支持按照不同时间段对资源进行动态的扩缩容,保证资源的利用率和应对资源洪峰等诉求。
概述 数据类型是数据的一个基本属性,用于区分不同类型的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。 DLI当前只支持原生数据类型。 父主题: 数据类型
值,按字母排序,且读取该分区下对应的数据。 命令格式 max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING类型。 指定表名。必须对表有读权限。 返回值说明 返回STRING类型的值。
table_name Database中的表名,由字母、数字和下划线(_)组成。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 示例 SELECT
局。 Clustering服务可以异步或同步运行,Clustering会添加了一种新的REPLACE操作类型,该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi的MVCC设计,允许继续插入新数据,而Clustering操作在后
field为preCombineField的值。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 示例 RESTORE
参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”,选择已购买的弹性资
跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Password类型跨源认证关联的字段 作业类型 参数 是否必选 数据类型 说明 Spark SQL passwdauth 否 String 跨源认证名称。适用于DWS、RDS、DDS、Redis数据源。
'obs://longyuan/source-files', 'format' = 'csv' ); 参数说明 表1 参数说明 参数 是否必选 默认参数 数据类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。
查询后的结果。 如果查询结果中无数值列,则无法导出查询结果。 确保执行导出作业结果的用户具备该OBS桶的读写权限。 表1 参数说明 参数 是否必选 说明 数据格式 是 选择导出结果的数据格式,当前支持json和csv格式。 队列 是 选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。
=CACHE_TIME spark.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
disConfig.put(DisConsumerConfig.GROUP_ID_CONFIG, groupId); // 是否主动更新分片信息及更新时间间隔(毫秒),若有主动扩缩容需求,可以开启 disConfig.put(FlinkDisConsumer.KE