检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数: connector.properties.flink.partition-discovery
之间的作业效率互不影响,保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置,且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需要进行权限设置,且其他用户无法修改其程序包权限。 程序包组作为一个单元,用于管理行为一致
创建路由 功能介绍 该API用于创建跨源需要的路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v3/{project_id}/datasource/enhanced-connections/{connection_id}/routes
功能描述 您可通过编写代码实现从云生态或者开源生态获取数据,再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource:public class
function ,需要指定一个 identifier ,可指定 language tag 。 若catalog 中,已经有同名的函数注册了,则无法注册。如果 language tag 是 JAVA 或者 SCALA ,则 identifier 是 UDF 实现类的全限定名。 如果您需要了解创建自定义函数的步骤请参考自定义函数。
TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表,即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name.]table_name
创建路由(废弃) 功能介绍 该API用于创建跨源需要的路由。 当前接口已废弃,不推荐使用。推荐使用创建路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id}/datasource/enhanced-con
删除路由(废弃) 功能介绍 该API用于删除不需要的路由。 当前接口已废弃,不推荐使用。推荐使用删除路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/datasource/enhanced-co
* FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT查询需要有一个ORDER BY 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题: 数据操作语句DML
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件),减轻存储压力,提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL(设置如下参数,随后执行任意写入SQL时,在满足条件时触发)
操作场景 在安装和使用Python SDK前,确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 操作步骤 从Python官网下载并安装Python版本。
expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。
* FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题:
变长字符串,n指字节长度。 CHAR(n) 定长字符串,不足补空格。n是指字节长度,如不带精度n,默认为1。 VARBINARY 变长二进制数据。需要带上前缀X,如:X'65683F',暂不支持指定长度的二进制字符串。 JSON 取值可以是a JSON object、a JSON array、a
verifyBucketExists on {{桶名}}: status [403]。 解决措施 请检查OBS桶权限,确保账号有权限访问报错信息中提到的OBS桶。 如果没有,需要联系OBS桶的管理员添加桶的访问权限。 父主题: SQL作业运维类
DLI.0002: FileNotFoundException: getFileStatus on error message 该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的
resource ‘resources. xxx', User = 'xxx', Action = "UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,
* FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题:
Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法:
功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类: 自定义sink类需要继承Flink开源类:RichSinkFunction,并指定数据类型为:Tuple2<Boolean, Row>。 例如开发自定义类MySink:public