检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业 DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。
您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
URI格式: GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
聚合操作,可用在MEASURES和DEFINE子句中。关于聚合函数的详细信息,请参见聚合函数。 示例 套牌车检测 5分钟内在不同区域的城市道路或者高速道路的摄像头采集到相同牌照的车辆数据,通过对号牌切换特征的模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11
数据治理中心DataArts Studio具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
16.0.0~172.31.0.0/12~24 192.168.0.0~192.168.0.0/16~24 “队列特性”:运行AI相关SQL作业时选择“AI增强型”队列,运行其他作业时选择“基础型”队列。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种
0/{project_id}/databases/{database_name}/tables?keyword=tb&with-detail=true 描述表信息 getTableDetail get_table_schema GET /v1.0/{project_id}/databases/{dat
编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。 父主题: DLI数据库和表类
聚合操作,可用在MEASURES和DEFINE子句中。关于聚合函数的详细信息,请参见聚合函数。 示例 套牌车检测 5分钟内在不同区域的城市道路或者高速道路的摄像头采集到相同牌照的车辆数据,通过对号牌切换特征的模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID
作业特性 “所属队列”选择CCE队列时,设置该参数。表示用户作业使用的Spark镜像类型,具体说明如下: 基础型:DLI提供的基础镜像,运行非AI相关作业时选择“基础型”。 自定义镜像:自定义的Spark镜像,需要选择“容器镜像服务”中设置的镜像名称及版本。 依赖jar包(--jars)
Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 container_xxx_000001归档日志文件夹示例 Spark Jar作业:
在DLI控制台创建数据库和表 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 表是数据库最重要的组成部分之一。表是由行与列组合成的。每一列被当作是一个字段。每个字段中的值代表一种类型的数据。 数据库是一个框架,表是其实质内容。一个数据库包含一个或者多个表。
(select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。 select_statement:完整的SELECT语句。 sql_containing_cte_name:包含了刚刚定义的公共表达式的SQL语句
(select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。 select_statement:完整的SELECT语句。 sql_containing_cte_name:包含了刚刚定义的公共表达式的SQL语句
db1的CREATE_TABLE权限 - CREATE VIEW v1 database.db1的CREATE_VIEW权限 - EXPLAIN query database.db1的EXPLAIN权限 query需要其相应的权限。 Table SHOW CREATE TABLE tb1 database.db1
db1的CREATE_TABLE权限 - CREATE VIEW v1 database.db1的CREATE_VIEW权限 - EXPLAIN query database.db1的EXPLAIN权限 query需要其相应的权限。 Table SHOW CREATE TABLE tb1 database.db1
关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。
规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。 扩容 当前队列规格不满足业务需要时,可以通过手动变更队列规格来扩容当前队列。
创建跨源成功但测试网络连通性失败怎么办? 问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往