检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。
驱动包名为“dws_8.1.x_jdbc_driver.zip”,解压后有两个JDBC的驱动jar包,分别为“gsjdbc4.jar”和“gsjdbc200.jar”。
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.1.x_jdbc_driver.zip。 请参见下载JDBC或ODBC驱动。
解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化完成多项复杂的数据处理任务。DWR提供图形化界面,方便用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。
BS事件的能力,可作为算子在DWR中运行。接下来我们将在其中添加“下载OBS对象功能”让函数功能更加丰富。 图5 测试结果 添加OBS下载逻辑(涉及AK/SK获取) 下载OBS的方式参考下载对象,示例采用二进制下载方式,主要代码如下所示。 如图6所示,执行结果中已经获取到目标对象的大小
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
解压后JDBC的驱动jar包: gaussdbjdbc.jar:主类名为“com.huawei.gaussdb.jdbc.Driver”,数据库连接的url前缀为“jdbc:gaussdb”,推荐使用此驱动包。本章的Java代码示例默认使用gaussdbjdbc.jar包。
解压后JDBC的驱动jar包: gsjdbc4.jar:该驱动包适用于从PostgreSQL迁移业务的场景,驱动类和加载路径与迁移前保持一致,但接口支持情况不完全一致,未支持的接口需要业务侧进行调整。
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.x.x_jdbc_driver.zip的软件包。 请参见下载JDBC或ODBC驱动。
"constraints": { "regex": ".*" }, "invisible": false, "description": "下载文件名" } ] 动态参数(dynamic_source): { "bucketname": { "get_input": "$
值。例如,云市场 appkey,算子回调函数地址。 Event :算子的触发事件信息,例如OBS对象信息,桶名,动态参数。 父主题: 发布下载OBS对象的算子
户使用。 数据处理引擎的核心是DWR提供的工作流图形化编排能力,用户可以通过图形化的界面,将任意算子编排到工作流中。通过事件触发器或API驱动,DWR将根据您定义的工作流自动进行数据处理。 图1 DWR架构示意图
与算子交互的接口。 动态参数中的桶名称、对象是由用户输入的参数,而触发器中的桶名称、对象则是面向触发器使用,二者不可混淆。 父主题: 发布下载OBS对象的算子
Object: "thumb_out", }, //是否压缩抽帧图片生成tar包。 Tar: 0, //是否同步处理,同步处理是指不下载全部文件,快速定位到截图位置进行截图。 Mode: 0, //截图参数 ThumbnailParam:
示例:使用DWR压缩图片 算子管理 发布算子 04 实践 您可以通过使用DWR的数据处理功能解决实际业务场景中的诸多问题。 最佳实践 创建视频转码工作流 发布下载OBS对象的算子 抽帧截图(官方算子) 抽帧截图(自定义算子) 视频解析 媒资转码 常见问题 了解更多常见问题、案例和解决方案 热门案例
abc文件夹下,如果文件夹不存在,会自动新建。输出路径为空表示存放在桶的根目录。 tar 是否压缩抽帧图片生成tar包。 sync 是否同步处理,同步处理是指不下载全部文件,快速定位到截图位置进行截图。 type 采样类型,可选择如下类型: 根据视频时长的百分比间隔采样 根据时间间隔采样截图