检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。
授权对象,和赋权API中的“object”对应。 "jobs.flink.flink作业ID",查询指定的作业。 "groups.程序包组名",查询指定的程序包组。 "resources.程序包名",查询指定程序包。 说明: 查看分组下的程序包时,“object”的格式为"resources
查看表 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 父主题: 表相关
随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。quantile digest是一个分位数的集合,当需要查询的数据落在某个分位数附近时,就可以用这个分位数做为要查询数据的近似值。它的精度可以调节,但更高精度的结果会带来空间的昂贵开销。
具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。
start_minute 否 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如:
查看SQL执行计划 SQL执行计划是数据库查询的逻辑流程图,它展示了数据库管理系统如何执行一个特定的SQL查询。执行计划详细列出了执行查询所需的各个步骤,例如表扫描、索引查找、连接操作(如内连接、外连接)、排序和聚合等。执行计划可以帮助分析查询的性能,识别可能的性能瓶颈,通过了解
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。 DEW解密凭据的权限,kms:dek:decrypt。
台。 在“作业管理”>“Flink作业”页面找到对应的作业。 在对应作业的“操作”栏中选择“更多”>“权限管理”。 图1 Flink作业权限管理 在“授权”页面输入需要授权的用户名,勾选需要的权限。确认后,被授权用户就可以查看该作业,并且执行对应操作。 图2 授权 IAM授权管理
运行该操作的作业的详细信息 notebook 运行操作的笔记的详细信息 clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别 isBlindAppend 是否追加数据 operationMetrics 操作的度量(
Jar作业时,需要将二次开发的应用代码构建为Jar包,上传到已经创建的OBS桶中。并在DLI“数据管理”>“程序包管理”页面创建程序包,具体请参考创建程序包。 DLI不支持下载功能,如果需要更新已上传的数据文件,可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略,用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景:数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一,适用于大规模数据处理的场景。Beeline提供了的SQL引擎,使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
与数据治理中心(DataArts Studio)的关系 在数据治理中心DataArts Studio中,数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。 通过数据治理中心的DLI SQL节点传递SQL语句到DLI中执行,请参考《DLI
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具,专注于数据分析和可视化。它支持连接多种数据源,能够将复杂的数据转换为直观的图表和仪表板,快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。
查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列,或添加的队列扩缩容时,可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能,可以查看弹性资源池的CUs变化历史。 约束与限制 当前控制台仅支持查看30天以内的弹性资源池扩缩容历史。 查看弹性资源池扩缩容历史