检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添
介绍。您可以根据习惯和业务需要自定义作业模板,方便后续创建提交作业。 开发指南 Flink SQL语法参考 提供Flink OpenSource SQL创建源表、结果表和维表的语法说明和样例指导。 Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS
'properties.security.protocol' = 'SASL_PLAINTEXT' 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource SQL语法参考:创建HBase源表 父主题: 使用DLI的跨源认证管理数据源访问凭证
required username=\"xxx\" password=\"xxx\";' 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource SQL语法参考:创建Kafka源表 父主题: 使用DLI的跨源认证管理数据源访问凭证
作用范围:项目级服务。 系统角色 无 表2列出了DLI SQL常用操作与系统权限的授权关系,您可以参照该表选择合适的系统策略。 更多SQL语法赋权请参考《数据湖探索SQL语法参考》> 《数据控制》>《权限列表》章节。 表2 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess
数据库的语法可以参考创建DLI数据库。 create database testdb; 在数据库下创建表。 如果是通过在MRS Hive中的“show create table hive表名”获取的建表语句,则需要修改该建表语句以符合DLI的建表语法。具体DLI的建表语法可以参考创建DLI表。
详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。 Flink作业 专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:DLI提供了标准的连接器(co
参数校验错误。 400 DLI.0002 对象不存在。 400 DLI.0003 SQL权限校验未通过。 400 DLI.0004 SQL语法解析错误。 400 DLI.0005 SQL语义解析错误。 400 DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。
访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发Spark SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业 开发Flink Jar作业
计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储(可选)收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源
在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Flink版本,选择最新的Flink版本,推荐使用Flink 1.15。 Flink 1.15版本语法请参考Flink OpenSource SQL1.15版本使用说明。 公告发布日期:2023年7月6日 父主题: 产品公告
SQL作业相关API 包括导入数据、导出数据、提交SQL作业、取消作业、查询所有作业、预览作业结果、查询作业状态、查询作业详细信息、检查SQL语法和导出查询结果。 SQL模板相关API 包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DL
自动缩容。 Flink版本 具体参数说明如下: 1.10:具体SQL语法参考Flink OpenSource SQL1.10语法。 1.12:具体SQL语法参考Flink OpenSource SQL1.12语法。 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和,CU
取消作业(SQL) jobs cancelJob 授权obs桶给DLI服务 obs authorizeObsBucketsForStream 检查SQL语法 jobs checkSQL 删除作业 jobs deleteStreamJob 创建Flink opensource sql作业 jobs
在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。 参考Flink Opensource SQL使用DEW管理访问凭据的语法格式,在作业中配置凭据信息。 WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql
DLI支持定制模板或将正在使用的SQL语句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供Spark SQL作业开发的操作指引和样例代码参考。
修改:将修改保存至当前的模板中。 新增:将修改另存为新的模板。 SQL语句编辑区域 输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。 保存 保存修改。 创建作业 使用当前模板创建作业。 格式化 对SQL语句进行格式化,将SQL语句格式化后,需要重新编辑SQL语句。
创建全局变量 表1 全局变量参数说明 参数名称 描述 变量名称 所创建的全局变量名称。 变量值 全局变量的值。 创建全局变量之后,在SQL语法中使用“{{xxxx}}”代替设置为全局变量的参数值即可,其中“xxxx”为变量名称。例如,在建表语句中,设置表名为全局变量abc,即可用{{abc}}代替实际的表名。
在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。 create database testdb; 创建数据库下的表。详细的DLI建表语法可以参考创建DLI表。 create table tablecss(size string
在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。 create database testdb; 创建数据库下的表。详细的DLI建表语法可以参考创建DLI表。 create table tablecss(size string