检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。
样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
Hive方言 简介 从Flink 1.11.0 开始,在使用Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。
endTime) // 指定增量拉取结束commit .load("obs://bucket/to_your_table") // 指定读取的hudi表路径 .createTempView("hudi_incremental_temp_view"); // 注册为
SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情,确认在扣费时间段内是否有以下操作: 是否使用自建的队列。 是否执行SQL作业。 如果使用了按需的弹性资源池下的队列执行作业,默认的计费模式是按CU时计费。
登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际CUs:弹性资源池当前分配的可用CUs。
路径可以访问属性($.a)、数组元素($.a[0].b)或数组中的所有元素($.a[*].b)。 已知限制:当前并非所有宽松模式的特性都得到了正确的支持。
回收权限 功能描述 回收已经授予用户或角色的权限。 语法格式 1 REVOKE (privilege,...) ON (resource,..)
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象,构造函数的入参包括队列、数据库名、表名(通过实例化Table对象获取)和数据路径 private static
解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。
使用Flink Jar连接开启SASL_SSL认证的Kafka 介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。 使用Flink Jar读写DIS开发指南 介绍Flink Jar作业读写DIS数据的操作方法。
2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSource语法创建表时支持使用CTAS创建分区表。
如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 检查IAM权限。 如果SMN主题已经存在,但仍然提示不存在,请进入统一身份认证服务(IAM),选择对应子账户所在的用户组,确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。
分配权限 功能描述 授予用户或角色权限。 语法格式 1 GRANT (privilege,...) ON (resource,..)
用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1.
具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。 父主题: SQL作业开发类
开启向hive同步表信息后会使用catalog相关权限,需配置访问catalog的委托权限。