检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取
查询组内资源包(废弃) 功能介绍 该API用于查询某个project某个分组下的具体资源信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/resources/{resource_name}
获取委托的临时AKSK、Flink SQL UDF 获取委托的临时AKSK场景。请参考Flink作业委托场景开发指导。 Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink 1.12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。 Flink 1.15 Jar
修改队列网段(废弃) 功能介绍 该功能用于修改包年包月队列网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者改队列已经绑定了增强型跨源,将不支持修改网段操作。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT
预览表内容(废弃) 功能介绍 该API用于用于预览表中前10行的内容。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/ta
查询批处理作业日志(废弃) 功能介绍 该API用于查询批处理作业的后台日志。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/batches/{batch_id}/log 参数说明
创建经典型跨源连接 功能介绍 该API用于创建与其他服务的经典型跨源连接。 推荐使用创建增强型跨源连接。 系统default队列不支持创建跨源连接。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v2.0/{p
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取
查看表的用户权限(废弃) 功能介绍 该API用于查询指定用户在表上的权限。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/
io/。 前提条件 DLI要建立与Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
verifyBucketExists on XXXX: status [403] Spark作业运行大批量数据时上报作业运行超时异常错误 使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库
CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。 父主题: 版本支持公告
查看队列的使用者(废弃) 功能介绍 该API用于查询可以使用的指定队列的所有用户名称。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/users
创建增强型跨源连接 功能介绍 该API用于创建与其他服务的增强型跨源连接。 如果需要了解Console界面的使用方法,可参考《数据湖探索用户指南》中的“增强型跨源连接”。 系统default队列不支持创建跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式
DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中,源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能,性能相较于外表性能更好,但是会收取存储费用。 父主题: DLI产品咨询类
若计算任务超时或失败,则当次计算不收取费用。 数据的存储方式(包括格式,是否压缩)对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4,则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则 表1 数据扫描量计费规则 类型 资源 说明 数据扫描 数据扫描量 仅default
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/authorization/privileges 参数说明: 表1 URI 参数 参数名称
批量添加资源标签 功能介绍 批量添加资源标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_typ