检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数
出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ，单击“kafka实例名称 > 消费组” ，选择具体的消费组名称，查看消费组的指标信息。
创建并使用LakeFormation元数据 DLI对接LakeFormation LakeFormation资源权限支持列表与策略项 父主题： 创建数据库和表
Flink 提供了一套与表连接器（table connector）一起使用的表格式（table format）。 表格式是一种存储格式，定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka, Upsert Kafka
图1描述了按需计费的DLI资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；当您的账号因按需资源自动扣费导致欠费后，账号将变成欠费状态，资源将陆续进入宽限期和保留期。 图1 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账
用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 modules Array of Strings 依赖的系统资源模块名，具体模块名可通过查询组内资源包（废弃）接口查看。 DLI系统提供了用于执行跨源作业的依赖模块，各个不同的服务对应的模块列表如下：
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。 同一弹性资源池中，队列之间的计算资源支持共享。
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题： 创建数据库和表
在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要扩容的队列，单击“操作”列“更多”中的“规格变更”。 在“规格变更”页面，“变更方式”选择“扩容”，设置扩容的CU值。 图1 扩容 确定费用后，单击“提交”。 缩容 当计算业务较小，不需要那么大的队列规格时，可以通过手动变更队列规格来缩容当前队列。
迁移外部数据源数据至DLI 迁移数据场景概述 使用CDM迁移数据至DLI 典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI
有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert.split.size 插入写入并行度。为单个分区的总共插入次数。写出100MB的文件，至少1KB大小的记录，意味着
为什么已有View视图的select权限，但是查询不了View？ 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后，用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1的查询表权限。
已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink与Hive的集成包含两个层面，一是利用了Hive的MetaStore作为持久化的Catalog，二是利用Flink来读写Hive的表。Overview
用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className 是 String 批处理作业的Java/Spark主类。 queue 否 String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明：
配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类（--class）”，为上一步中所写的，包含需要执行的main函数的类的全名。 在”Spark参数（--conf）“处
某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据（脱敏后）为基础，利用数据湖探索来分析用户和商品的各种数
注意事项 在全天的任意一个时间段内，弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池创建后，调整最小CU时，最小CU需小于等于弹性资源池当前的CU值，否则会修改失败。
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE
怎样查看套餐包资源的使用情况？ 购买套餐包后，随着套餐包的使用您可以随时查看套餐包使用情况，了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID，查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题： 计费相关问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
