-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
表格存储服务(CloudTable),是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景
-
使用Spark作业访问DLI元数据 - 数据湖探索 DLI
编辑“应用程序”,选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本: 分别上传Jar包到OBS和DLI下。 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。
-
CloudTable HBase输出流 - 数据湖探索 DLI
表格存储服务(CloudTable),是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景
-
责任共担 - 数据湖探索 DLI
华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
-
Python SDK环境配置 - 数据湖探索 DLI
图1 检验配置是否成功 python安装应用包时出现错误类似错误“error: Microsoft Visual C++ xx.x is required.
-
Hive源表 - 数据湖探索 DLI
SQL 提示可用于将配置应用于 Hive 表,而无需更改其在 Hive 元存储中的定义。
-
实时聚类 - 数据湖探索 DLI
聚类算法可以应用在无界流中。 参数说明 表1 参数说明 参数 是否必选 说明 field_names 是 数据在数据流中的字段名,多字段以逗号隔开。例如ARRAY[a, b, c]。
-
使用Flink Jar读写DIS开发指南 - 数据湖探索 DLI
在DIS控制台,打开“App管理 > 创建App”,填写App名称,App名称对应的是代码中的groupId。 图1 创建App 创建Flink Jar对应的程序包。 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建程序包”,创建Flink Jar对应的程序包。
-
percentile - 数据湖探索 DLI
percentile_approx percentile_approx函数用于返回组内数字列近似的第p位百分数(包括浮点数)。
-
percentlie - 数据湖探索 DLI
percentlie_approx percentile_approx函数用于计算近似百分位数,适用于大数据量。先对指定列升序排列,然后取第p位百分数最靠近的值。
-
Maxwell Format - 数据湖探索 DLI
如果Maxwell应用程序在at-least-once模式处理,它可能向Kafka写入重复的改动消息,Flink将获得重复的消息。这可能会导致Flink查询得到错误的结果或意外的异常。
-
实时聚类 - 数据湖探索 DLI
聚类算法可以应用在无界流中。 参数说明 表1 参数说明 参数 是否必选 说明 field_names 是 数据在数据流中的字段名,多字段以逗号隔开。例如ARRAY[a, b, c]。
-
使用Flink Jar写入数据到OBS开发指南 - 数据湖探索 DLI
offset策略 如当前kafka的offset策略为earliest output.path 数据写入的OBS路径 obs://bucket/output checkpoint.path checkpoint的OBS路径 obs://bucket/checkpoint 编译运行 应用程序开发完成后
-
DIS源表 - 数据湖探索 DLI
数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。
-
FileSystem结果表 - 数据湖探索 DLI
文件合并 FileSink 开始支持已经提交Pending文件的合并,从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后,在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。
-
FileSystem结果表 - 数据湖探索 DLI
文件合并 FileSink 开始支持已经提交Pending文件的合并,从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后,在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。
-
DIS源表 - 数据湖探索 DLI
数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。
-
FileSystem结果表 - 数据湖探索 DLI
文件合并 FileSink 开始支持已经提交Pending文件的合并,从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后,在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。
-
percentile - 数据湖探索 DLI
percentile_approx percentile_approx函数用于返回组内数字列近似的第p位百分数(包括浮点数)。
-
使用DLI提交Flink Jar作业 - 数据湖探索 DLI
应用程序 是 选择步骤1:开发Jar包并上传数据至OBS中自定义的程序包。 主类 是 指定加载的Jar包类名。 “主类”参数用于指定Fink作业的入口,即包含main方法的类。这是Flink作业启动时首先执行的类。 当应用程序类型为.jar时,必须提供主类名称。