检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池和队列:弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存),灵活应对业务对计算资源变化的需求。同一弹性资源池中,队列之间的计算资源支持共享。通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。 · default队列:DLI预置“default”用于用户体验数据湖探索服务。
执行SQL作业访问报错:File not Found。 可能原因 可能由于文件路径错误获文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。 文件被占用 文件被占用导致的文件报错找不到,一般是读写冲突产生的,建议查询SQ
文件系统输出流(推荐) 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务(OBS)等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
文件系统输出流(推荐) 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务(OBS)等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的
击桶dli-demo。OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_01.zi
按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
移动应用等场景,减少IT部署和维护成本。 关系型数据库(Relational Database Service,简称RDS)是一种基于云计算平台的在线关系型数据库服务。 RDS的更多信息,请参见《关系型数据库用户指南》。 前提条件 请务必确保您的账户下已在关系型数据库(RDS)里
按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 可在服务授权中进行设置。 使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。
移动应用等场景,减少IT部署和维护成本。 关系型数据库(Relational Database Service,简称RDS)是一种基于云计算平台的在线关系型数据库服务。 RDS的更多信息,请参见《关系型数据库用户指南》。 前提条件 请务必确保您的账户下已在关系型数据库(RDS)里
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName
"status_name": "job_init", "status_desc": "" } } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 创建作业成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。 示例 从kafka中读取数据输出到taskmanager的out文件中,可以在taskmanager的out文件中看到输出结果。 create table kafkaSource(
若为true,则表示输出数据到taskmanager的error文件中。 若为false,则表示输出数据到taskmanager的out中。 示例 从kafka中读取数据输出到taskmanager的out文件中,可以在taskmanager的out文件中看到输出结果。 create table kafkaSource(
"828d4044-3d39-449b-b32c-957f7cfadfc9", "job_mode":"async" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 导出成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,
约束与限制 程序包支持删除,但不支持删除程序包组。 支持上传的程序包类型: JAR:用户jar文件。 PyFile:用户Python文件。 File:用户文件。 ModelFile:用户AI模型文件。 程序包管理页面 表1 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组,则显示“--”。