检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API接口返回的中文字符为乱码,如何解决? 当API接口返回的中文字符出现乱码时,通常是因为字符编码格式不匹配。 DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.cont
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。
/v1.0/{project_id}/streaming/jobs/run 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选
Avro:DLI支持读取不压缩的avro数据。 CSV 存储路径 输入或选择OBS路径。路径可以是文件夹,也可以是路径。 说明: 如果需要将OBS上的数据导入OBS表,则建表路径必须是文件夹。建表路径是文件时,会导致数据导入失败。 obs://obs1/sampledata.csv 表头:无/有
URI格式: POST /v1.0/{project_id}/jobs/check-sql 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
DLI表具体权限说明请参考表1。 图2 DLI表用户授权 图3 DLI表项目授权 表1 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 查看表所在的数据库名称。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 过滤表名称的关键词。 with-detail 否 Boolean 是否获取表的详
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss
OPTIONS:导出时的属性列表,为可选项。 参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时,options参数可以参考表3。
程序包管理”,单击“创建”,创建clinet.jks对应的程序包。 主要参数的填写说明: 包类型:File OBS路径:clinet.jks所在的OBS路径。 分组名称:自定义分组或选择已有的分组名称。 图4 创建clinet.jks 将示例代码打包,在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建Flink
table_name 表名称。 obs桶多版本回收站目录 当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”,OBS表目录下已创建Trash目录,则该回收站目录可以指定为“obs://bucketName/filePath/Trash”。
queue submitJob 取消作业(SQL) jobs cancelJob 授权obs桶给DLI服务 obs authorizeObsBucketsForStream 检查SQL语法 jobs checkSQL 删除作业 jobs deleteStreamJob 创建Flink opensource
通过将Superset与DLI对接,用户可以访问DLI进行数据查询和分析,简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。 本节操作介绍Superset连接DLI服务的操作步骤。 操作前准备 获取Superset安装包 获取Superset安装包:安装Superset。
[database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`;
Flink作业提交错误,如何定位 在Flink作业管理页面,将鼠标悬停到提交失败的作业状态上,查看失败的简要信息。 常见的失败原因可能包括: CU资源不足:需扩容队列。 生成jar包失败:检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误,可以进一步单击作业名称,进入
Flink Opensource SQL如何解析复杂嵌套 JSON? kafka message { "id": 1234567890, "name": "swq", "date": "1997-04-25", "obj": { "time1": "12:12:12"
的VPC Administrator权限。可在服务授权中进行设置。 发布区域:全部 创建增强型跨源连接 OBS 2.0支持 DLI自定义委托 跨源分析场景,DLI需具备访问其他云服务的委托权限,即允许DLI在其他云服务中代表用户或服务执行操作,才能够在执行作业时读写数据、执行特定操作。
的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。