检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java SDK版本说明。 方法一:通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK: 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下:
com/96a17d961b84434baec6a58b9e567908。 下载并安装JDBC驱动 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 2024年5月起,新用户可以直接使用DLI服务
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功,运行cmd ,输入 python。运行结果,请参见图1,显示版本信息,则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:
创建自定义镜像 以tensorflow为例,说明如何将tensorflow打包进镜像,生成安装了tensorflow的自定义镜像,在DLI作业中使用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境,执行以下命令获取DLI的基础镜像。
K,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java huaweicloud-sdk-java-v3
-version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量,在“控制面板”选择“系统”属性,单击“环境变量”。 选择“系统变量”,新建 “JAVA_HOME 变量”,路径配置为JDK安装路径,例如:“D:\Java\jdk1
客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户
数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。
”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>
如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。
正整数,上限为65536,默认值为8。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时,如果一条记录的car_brand列值为BMW,则该配置项在该条记录下为car_BMW。 示例 将流weat
正整数,上限为65536,默认值为8。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时,如果一条记录的car_brand列值为BMW,则该配置项在该条记录下为car_BMW。 示例 将流weat
CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
用户不需要管理任何服务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
”页面获取项目编号。 “?”后面接其他配置项,每个配置项以“key=value”的形式列出,配置项之间以“;”隔开,这些配置项也可以通过Info对象传入。 Info Info传入自定义的配置项,若Info没有属性项传入,可设为null。配置格式为:info.setProperty("属性项"
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 es_auth_name 否 无 String CSS类型的跨源认证的名称。 仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 示例