检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SHOW_LOG_FILE 命令功能 查看log文件的meta和record信息。 命令格式 查看meta: call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]'
显示函数详情 功能描述 查看指定函数的相关信息。 语法格式 1 DESCRIBE FUNCTION [EXTENDED] [db_name.] function_name; 关键字 EXTENDED:显示扩展使用信息。 注意事项 返回已有函数的元数据(实现类和用法),如果函数不存在,则系统报错。
'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业
在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。
簇,一个rowkey运行一个亿的模拟数据,数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。 查看executor错误日志。 查看task错误日志。 结论:rowkey过于集中,出现了热点region。 处理步骤 Hbase做预分区。 把rowkey散列化。
单击“启动”后,跳转至“作业配置清单”页面。 在“作业配置清单”页面,确认作业信息及价格,如果无误,单击“立即启动”。 作业启动后,可在对应作业的“状态”列中查看运行成功或失败。 停止作业 当用户不需要运行某个作业时,用户可以将状态为“运行中”和“提交中”的作业停止。 在DLI管理控制台的左侧导航栏
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables
'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业
SHOW_TIME_LINE 命令功能 查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表: call show_active_instant_list(table => '[table_name]');
查询作业状态 功能介绍 该API用于在作业提交后查询作业状态。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/status 参数说明 表1 URI 参数 参数名称 是否必选 参数类型
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSource
后,大概的数据文件大小是150MB ~ 256MB左右。不同业务数据会有出入。而HDFS单个数据块一般会是128MB,这样可以有效地利用存储空间。 数据读写占用的内存空间都是原始数据大小(包括空值也是会占用内存的),2GB在大数据计算过程中,处于单task读写可接受范围之内。 如
功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name attr_type
} 读优化查询:COW表读优化查询等同于快照查询。 MOR表查询 在Spark SQL作业中使用元数据服务,或者配置了HMS同步参数,在创建MOR表后,会额外同步创建:“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询,查询后缀为ro的表代表读优化查询。例如:通过Spark
queue_id 队列 flink_job_id Flink作业 通过云监控服务CES查看DLI监控指标 在管理控制台搜索“云监控服务”。 进入云监控服务的控制台后,在左侧列表中,单击“数据湖探索”。 选择队列进行查看相关监控信息。
newTableName 新表名。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Schema演进语法说明
导航”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3:在DBeaver编写SQL查询 在DBeaver建立与DLI的连接后,即可在DBeaver编写SQL查询: 您可以在左侧的数据库导航面板中选择数据库对象,然后在中间的查询编辑器中编写SQL语句。
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一,适用于大规模数据处理的场景。Beeline提供了的SQL引擎,使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQ
按扫描量计费 按扫描量计费即:按运行查询作业扫描的数据量付费,如果扫描字节数量少于10M, 按10M计算。 且数据定义语言(DDL)语句(如 CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费。 扫描量计费模式