检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink Checkpoint和Savepoint生成机制及格式一致,因此可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。
file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud
查询作业执行进度信息 功能介绍 该API用于获取作业执行进度信息,如果作业正在执行,可以获取到子作业的信息,如果作业刚开始或者已经结束,则无法获取到子作业信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/jobs/{job_id}/progress
导出数据(废弃) 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾,即,若桶名包含“.”, 则最后一个“
导入Flink作业保存点 功能介绍 导入Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
DROP TABLE 命令功能 DROP TABLE的功能是用来删除已存在的Table。 命令格式 DROP TABLE [IF EXISTS] [db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database
TRUE)。 当OBS桶目录下有文件夹和文件同名时,加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 导入分区数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表指定分区中。示例代码如下:
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
DELETE 命令功能 DELETE命令从Delta表中删除记录。 命令格式 DELETE from [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` [ WHERE boolExpression] 参数描述
DROP CONSTRAINT 命令功能 DROP CONSTRAINT 命令删除 CHECK 约束。 命令格式 ALTER TABLE [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` DROP CONSTRAINT
成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 using 参数delta,定义和创建Delta table table_comment 表的描述信息。
Column("c11", new DecimalTypeInfo(25,5), "test for c11"); 创建OBS表 DLI提供创建OBS表的接口。您可以使用该接口创建数据存储在OBS的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
UPDATE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新Delta表。 命令格式 UPDATE [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` SET column = EXPRESSION(
DLI中的Spark组件与MRS中的Spark组件有什么区别? DLI和MRS都支持Spark组件,但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务,用户对Spark组件不感知,仅仅可以使用该服务,且接口为封装式接口。 DLI的这种模式减
INSERT 命令功能 INSERT命令用于将SELECT查询结果加载到Delta表中。 命令格式 追加模式: INSERT INTO [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` select query;
[database_name.]table_name|DELTA.`obs_path` [LIMIT n] 示例 DESCRIBE HISTORY delta_table0; DESCRIBE HISTORY delta.`obs://tablePath` LIMIT 1; 系统响应 返回
结果的组织和管理。 控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以通过该功能将数据导出到OBS获取。具体操作步骤如下: 导出查询结果的操作入口有两个,分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多
数据迁移与传输方式概述 导入数据至OBS DLI支持在不迁移数据的情况下,直接访问OBS中存储的数据进行查询分析。 您只需将本地数据导入OBS即可开始使用DLI进行数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI,确保数据
CREATE SCHEMA web; 在指定路径创建schema,路径必须是obs的并行桶,路径末尾不能加/,指定路径兼容写法示例: CREATE SCHEMA test_schema_5 LOCATION 'obs://${bucket}/user/hive'; 在名为Hive的CA
则可以通过该功能将数据导出到OBS获取。 导出作业运行日志需要具有OBS桶的权限,请提前在“全局配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。 DLI套餐包使用约束限制