检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。
数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别 类别 操作指导 源表 DWS源表（不推荐使用） 结果表 DWS结果表（不推荐使用） 维表 DWS维表（不推荐使用） 父主题： DWS
String 新增OBS表数据的类型，目前支持：Parquet、ORC、CSV、JSON和Avro格式。 说明： OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建
单击“用户组”，输入查询到的用户组查询，单击用户组名称，在“授权记录”中查看当前用户的权限。 确认当前用户所属用户组下的权限是否包含OBS写入的权限，比如“OBS OperateAccess”。如果没有OBS写入权限，则给对应的用户组进行授权。 授权完成后，等待5到10分钟等待权限生效。再次运行失败的Flink
况下，会导致数据源消费速率跟不上生产速率，从而引起Kafka消费组的积压。在这种情况下，可以通过算子的反压和时延，确定算子的性能瓶颈点。 作业最后一个算子(Sink)反压正常（绿色），前面算子反压高（红色） 该场景说明性能瓶颈点在sink，此时需要根据具体数据源具体优化，比如对于
表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型，目前支持：parquet、ORC、CSV、JSON格式。只有OBS表有该参数，DLI表没有该参数。 data_location 是 String 数据存储的地方，分OBS表、DLI表，View。 last_access_time
DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS
成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 boolExpression 约束条件表达式。 所需权限
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。
作丢失数据。其他多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 num 保留期时长 所需权限 SQL权限 表2 VACUUM所需权限列表 权限描述 表的UPDATE权限
file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如："https://bucketname.obs.cn-north-1.myhuaweicloud
置为NUll。具有复杂分组语法（GROUPING SETS、CUBE或ROLLUP）的查询只从基础数据源读取一次，而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时，使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create
0代表0%至100%。 name 否 String 创建连接时，用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时，需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接，该字段为空。
BI安装数据连接驱动 步骤3：配置Fine BI连接Kyuubi 打开Fine BI。 单击“数据连接 > 数据连接管理”。 单击“添加数据源”创建一个新的数据源。 在数据源的向导中选择数据库类型。本例选择“Hadoop Hive” 配置数据库连接信息： 数据连接名称：用户自定义数据连接名称。 驱动：选择2
后，需要选择“高级选项”。 默认配置：由系统自动配置。 自定义配置： “网段”：支持指定使用的网段范围。如需使用DLI增强型跨源，DLI队列网段与数据源网段不能重合。 建议使用网段： 10.0.0.0~10.255.0.0/8~24 172.16.0.0~172.31.0.0/12~24
DLI表数据存储格式，支持：parquet和orc格式。 table_comment 否 表描述。仅支持字符串常量。 select_statement 否 用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable
语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 删除表相关语法
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。
h1 at 20210915170758; schedule compaction on 'obs://bucket/path/h1'; run compaction on 'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Co
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
