检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
扩容属于耗时操作,在DLI“规格变更”页面执行扩容操作后,需要等待大约10分钟,具体时长和扩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作
扩容属于耗时操作,在DLI“弹性扩缩容”页面执行扩容操作后,需要等待大约10分钟,具体时长和扩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作
仅读取指定数据库的 changelog 记录(通过对比 Canal 记录中的 "database" 元数据字段)。 canal-json.table.include 否 (none) String 仅读取指定表的 changelog 记录(通过对比 Canal 记录中的 "table" 元数据字段)。
仅读取指定数据库的 changelog 记录(通过对比 Canal 记录中的 "database" 元数据字段)。 canal-json.table.include 否 (none) String 仅读取指定表的 changelog 记录(通过对比 Canal 记录中的 "table" 元数据字段)。
可以将到期日统一设置到一个日期,便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
与传统自建Hadoop集群相比,Serverless架构的DLI还具有以下优势: 表1 Serverless DLI与传统自建Hadoop集群对比的优势 优势 维度 数据湖探索 DLI 自建Hadoop系统 低成本 资金成本 按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。
资源进行弹性伸缩,保障业务稳定性,不需要人工进行额外调试。 DLI Flink与MRS Flink的功能对比如表1所示。 表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管(无需人力运维集群) 半托管(需要人力运维集群)
创建Flink Jar作业 Flink Jar作业是基于Flink能力进行二次开发的场景,即构建自定义应用Jar包并提交到DLI的队列运行。 Flink Jar作业场景需要用户自行编写并构建应用Jar包,适用于对流计算处理复杂度要求较高的用户场景,且用户可以熟练掌握Flink二次开发能力。
地理函数 函数说明 基本地理空间几何元素介绍说明如表1所示。 表1 基本地理空间几何元素表 地理空间几何元素(统称geometry) 说明 举例 ST_POINT(latitude, longitude) 地理点,包含经度和维度两个信息。 ST_POINT(1.12012, 1.23401)
地理函数 函数说明 基本地理空间几何元素介绍说明如表1所示。 表1 基本地理空间几何元素表 地理空间几何元素(统称geometry) 说明 举例 ST_POINT(latitude, longitude) 地理点,包含经度和维度两个信息。 ST_POINT(1.12012, 1.23401)
使用“包年/包月”和“按需计费-非专属”的队列,请退订队列资源后,重新购买弹性资源池,使用新购的弹性资源池执行作业。 “弹性资源池队列”对比“包年/包月”和“按需计费”计费模式队列有哪些优势? “包年/包月”和“按需计费”队列:固定资源规格,当作业任务对资源的请求量发生变化时,会导致队列资源浪费或者资源不足的问题。
k、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。 发布区域:全部 Serverless DLI与自建Hadoop对比优势 DLI使用约束与限制 OBS 2.0支持权限管理 DLI服务不仅在服务本身有一套完善的权限控制机制,同时还支持通过统一身份认证服务(Identity
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。 Flink与Hive的集成包含两个层面,一是利用了Hive的MetaStore作为持
查询作业列表 功能介绍 查询当前用户的作业列表,可以根据作业ID作为ID,查询大于ID或小于ID的限定条数的作业,默认查询全部状态的作业,也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{projec
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
生成Flink SQL作业的静态流图 功能介绍 该API用于生成Flink SQL作业的静态流图。 Flink 1.15版本不支持生成静态流图。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/streamin
创建Flink OpenSource SQL作业 本章节介绍如何新建Flink OpenSource SQL作业。 DLI Flink OpenSource SQL类型作业完全兼容社区Flink版本,并在社区connector基础之上,新增了Redis、DWS(GaussDB)数据源类型。社区Flink
数据湖探索简介 什么是数据湖探索 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。