检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建程序包”。 在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。
稀疏存储结构,当需要更高效处理时会转为密集型数据结构。P4HyperLogLog则在其整改生命周期都是密集型数据结构。如有必要,可以显式地转换cast(hll as P4HyperLogLog)。在当前数据引擎的实现中,hll的数据草图是通过一组32位的桶来存储对应的最大hash。
新建的弹性资源池名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 说明: 若名称中包含大写字母,将会自动转换为小写字母。 description 否 String 描述信息。长度限制:256个字符以内。 cidr_in_vpc 否 String 虚拟集群关联的vpc
完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查询SQL作业日志 登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 注意事项 通过OBS转储支持两种中间文件方式: ORC: ORC格式不支持Arra
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 注意事项 通过OBS转储支持两种中间文件方式: ORC: ORC格式不支持Arra
Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。 如果不手动配
面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中,选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中,选择“SQL编辑器”。
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Spark3
作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证(普通模式) Doris的表名是区分大小写。
FROM nation, region; INNER JOIN 两个表中至少存在一个相匹配的数据时才返回行,等价于JOIN。也可以转换为等价的WHERE语句,转换方式如下: SELECT * FROM nation (INNER) JOIN region ON nation.name=region
“true”表示不允许调用。 说明: 当dli.sql.checkNoResultQuery=false时,非查询语句会执行两次。 在“添加数据源配置”页面工具栏中单击“测试连接”,测试通过后,单击“保存”,填写数据源名称,保存该数据源。 目前没有根目录保存权限,需保存到已建文件夹目录下。 父主题:
NET SDK视频指导 SDK列表提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API E
步骤6:发送数据和查询结果:RDS MySQL的表上插入数据,在DWS上查看运行结果。 步骤1:创建队列 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 在队列管理界面,单击界面右上角的“购买队列”。 在“购买队列”界面,填写具体的队列配置参数,具体参数填写参考如下。
操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择需要缩容的队列,单击“操作”列“更多”中的“弹性扩缩容”。 在“弹性扩缩容”页面,“变更方式”选择“缩容”,设置缩容的CU值。 图2 手动缩容 确认费用无误后,单击“确定”。 父主题: 管理队列
弹性资源池创建后,调整最小CU时,最小CU需小于等于弹性资源池当前的CU值,否则会修改失败。 CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多 > CU设置”。 在“CU设置”界面,“CU范围”参数中,左
限策略》和《统一身份认证服务用户指南》中的创建用户组。 弹性资源池权限管理操作步骤 在DLI管理控制台的左侧,选择“资源管理 > 弹性资源池”。 选择待设置的弹性资源池,单击其“操作”列中的“更多 > 权限管理”。“用户权限信息”区域展示了当前具备此弹性资源池权限的用户列表。 权
状态API,从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用,SDK的使用方法请参见华为云开发工具包(SDK)。 父主题: API使用前必读
Flink 作业: 登录DLI管理管理控制台。 选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。 选择“作业配置信息 > 资源配置” 查看作业的CU数量,即作业占用资源总CUs数。 该CUs数可以编辑作业页面进行配置,CUs数量 = 管理单元 + (算子总并行数 /