检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大,会出现缩容不成功,或者缩容一部分规格的情况。 系统默认最小CU值为16CU。即当队列规格为16CUs时,不能进行手动缩容。 操作步骤如下:
Visual Studio ”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 父主题: Python SDK环境配置
激活队列扩缩容定时任务。默认开启。如果关闭,则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明: “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容,在“有效期”结束之后,系统不会自动缩容,需要手动修改或设置缩容
下载并解压SDK安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows
理”页面,单击“配置权限”。 为对应的用户组授权: 在以下作用范围:选择“区域级项目”。 拥有以下权限:勾选2中创建的权限策略。 或者勾选系统角色“DLI Service Administrator”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。 父主题: Flink作业咨询类
算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该
S中。 insert into test_parquet_hw select * from test_csv_hw 检查结果,如图5所示,系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
单击查看队列的详细信息。 关于队列引擎相关字段的含义: 执行引擎:负责执行队列中任务的引擎类型。 默认版本:执行引擎的默认配置版本,或者是在没有指定特定版本时系统将使用的版本。 支持版本:执行引擎支持的所有版本列表。通过查看队列的支持版本,您可以了解哪些版本的执行引擎可以用于处理队列中的任务。 图1
)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 示例 创建一个名为web的schema: CREATE SCHEMA web; 在指定路径创建s
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files
由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如:“log4j.properties”或者“logback
开通自动续费后,还可以手动续费该资源。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月资源还未到期。
catch”异常捕获,否则可能会造成包冲突,导致函数功能异常。 环境准备 在进行UDF开发前,请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 queues 否 Array of Object 队列信息。具体请参考表4。 表4 queues参数
业等)。 DLI支持的授权项请参见权限管理概述。 如表3-1所示,包括了DLI的所有系统权限。 系统角色/策略名称 描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。
配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格 选择弹性资源池规格。 标准版 CU范围 弹性资源池最大最小CU范围。
对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为
首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。
x-dependencies.jar。 DBeaver客户端安装包: DBeaver官网提供了针对不同操作系统的客户端安装包,单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息: 表1