检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink
资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系,请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。 系统策略 该角色有依赖,需要在同项目中勾选依赖的角色: 创建跨源连接:VPC
在SQL作业编辑器执行的SQL语句、导入数据和导出数据等操作,在系统中对应的执行实体,称之为SQL作业。 SQL作业适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
因为继承的权限已经足够使用,重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时: 如果“用户授权”赋予表的权限与继承权限相同,系统会提示已有该权限无需重复操作。 通过“项目授权”赋予的权限与继承权限相同时,系统不再向您提醒重复的权限信息。 父主题: DLI权限管理类
user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查: 请先确认下当前用户名是否存在。 如该用户存在,请重新登录管理控制台,系统才能对该用户进行授权操作。 父主题: Flink作业咨询类
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系
IEF相关API(废弃) 创建IEF消息通道(废弃) 边缘Flink作业状态上报(废弃) 边缘Flink作业Action回调(废弃) IEF系统事件上报(废弃) 父主题: 历史API
Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败 Flink作业提交错误,如何定位 父主题: Flink作业类
创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。
怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1
资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。 父主题: DLI资源配额类
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。
DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表
创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。