检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 队列的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。
本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。
Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建”创建程序包。
本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。
DLI部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DLI时,需要先切换至授权区域。
区域和可用区 全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例(Demo) DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)? 怎样管理在DLI上运行的作业 怎样修改DLI上已经创建好的表的字段名称?
获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点 步骤1:部署DBT环境 安装dbt-core 使用pip安装建议版本的dbt-core: pip install dbt-core==1.7.9 pip是Python的包管理工具,通常与Python一起安装。
作业日志为日常的服务运维提供了重要保障,包括跟踪资源使用情况、检测作业运行安全性、追踪资源消耗、检测错误等。 父主题: 安全
最新动态 本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
检测连通性要求 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添加端口,用":"隔开,端口最大限制5位,端口范围:0~65535。
本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。
获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点 步骤1:在DBeaver新建DLI JDBC驱动 在DBeaver单击“数据库 > 驱动管理器”,创建新的驱动连接。
Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建”创建程序包。
Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建”创建程序包。
区域 选择弹性资源池所在区域。 项目 每个区域默认对应一个项目,由系统预置。 名称 弹性资源池名称。 规格 选择弹性资源池规格。 CU范围 弹性资源池最大最小CU范围。 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。
flink.dli.job.scale.interval 30 该配置表示检测当前作业是否需要动态扩缩的时间周期,其单位为分钟,默认值为30。例如30表示每隔30分钟进行一次检测,判断是否需要对作业使用资源量进行扩缩。 注意:只有当用户开启动态扩缩时,该配置才有意义。
在搜索条件中选择按资源ID搜索,并输入资源ID,单击图标搜索资源信息,并记录资源所在区域。按照图1的方法复制资源名称。 图1 查找资源名称 根据资源ID在云服务的控制台查找资源并删除。 在控制台中选择“大数据 > 数据湖探索 DLI”,并切换选择资源所在区域。
在左侧导航栏选择“数据库”页签,鼠标左键单击需要删除表的数据库名,进入“表”区域。 鼠标左键单击对应表右侧的,在列表菜单中选择“删除”。 在弹出的确认对话框中,单击“确定”。 父主题: 在DLI控制台管理表资源
适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。 如果需要导入自建的作业,建议使用创建作业的功能。
区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 弹性资源池的具体名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线或数字开头。