检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
" + table.getTableName()); } } 表删除后,将不可恢复,请谨慎操作。 查询所有表 DLI提供创建查询表的接口。您可以使用该接口查询数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 private static void listTables(Database
产品优势 纯SQL操作 DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算资
如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态 反压状态是通过周期性对t
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink
查询作业状态 功能介绍 该API用于在作业提交后查询作业状态。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/status 参数说明 表1 URI 参数 参数名称 是否必选 参数类型
记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表详见云审计服务支持的DLI操作列表说明。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请
VALUES('Adam','68','25'); 查询表数据: select * from hiveobstable; 图19 查询结果 在OBS桶“obs://dli-test-021/data5”目录下刷新后查询,生成了两个数据文件,分别对应新插入的数据。 图20 查询结果 创建表字段为复杂数据格式的OBS表
'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业
左半连接 功能描述 左半连接用来查看左表中符合JOIN条件的记录。 语法格式 1 2 SELECT attr_expr_list FROM table_reference LEFT SEMI JOIN table_reference ON join_condition; 关键字
1~ 9999-12-31。 是 是 VARCHAR和CHAR在DLI实际存储是STRING型,因此超出长度的字符串不会被截断。 FLOAT类型在DLI实际存储是DOUBLE型。 INT 有符号整数,存储空间为4字节,-2147483648~2147483647,在NULL情况下,默认值为0。
成。 DLI支持创建的表类型 DLI表 DLI表是存储在DLI数据湖中的数据表。支持多种数据格式,可以存储结构化、半结构化和非结构化数据。 DLI表的数据存储在DLI服务内部,查询性能更好,适用于对时延敏感类的业务,如交互类的查询等。 库表管理中表的列表页面,表类型为Managed的即代表DLI表。
SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。 在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。 当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。 如果执行结果中无数值列,则无法进行图形化。
OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将
如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不
如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不
在Flink作业管理页面,将鼠标悬停到提交失败的作业状态上,查看失败的简要信息。 常见的失败原因可能包括: CU资源不足:需扩容队列。 生成jar包失败:检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误,可以进一步单击作业名称,进入到作业详情页面,选择“提交日志”页签,查看作业提交日志。 父主题: Flink
cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
return 表删除后,将不可恢复,请谨慎操作。 完整样例代码和依赖包说明请参考:Python SDK概述。 查询所有表 DLI提供查询表的接口。您可以使用该接口查询数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_tbls(dli_client
获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。