检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细操作请参考使用Hive语法创建OBS表。 父主题: 创建OBS表
详细操作请参考使用Hive语法创建OBS表。 父主题: 创建OBS表
用户导表到OBS报“path obs://xxx already exists”错误 用户可新建一个不存在的OBS目录或手动删除已存在的OBS目录,再重新提交作业。删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。 父主题: 作业运维报错
不上传数据到OBS,如何使用DLI 当前DLI只支持对云上数据分析,数据还是要传到云上;但是用户可以折中处理:将待分析的数据脱敏后上传到OBS临时存放,分析完之后将结果导出使用,同时将OBS临时存放数据删除;该方法主要适用于定期(如每天)对增量数据一次性分析统计,然后利用分析结果支撑业务的场景
您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
DLI依赖SDK(例如,OBS SDK),可以通过配置华为云的maven镜像源仓库下载。 (推荐)以华为镜像源作为主仓库: 配置华为maven镜像源的具体方法可参见:华为开源镜像站>选择“华为SDK”>单击“HuaweiCloud SDK”。
图1 按需计费DLI资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。
get_json_object get_json_object函数用于根据所给路径对json对象进行解析,当json对象非法时将返回NULL。
如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 计费规则 表1 DL数据存储计费规则 类型 说明 存储资源 存储费用=单价*存储数据量(GB)*小时数 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在DLI资源到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至DLI资源到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
如果作业配置了保存作业日志的OBS桶,更多历史日志信息可以到保存日志的OBS桶中下载查看。 在OBS中,上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。 如果作业没有运行,则无法查看TaskManager信息。 父主题: 使用DLI提交Flink作业
预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月DLI资源到期未续费,首先会进入宽限期,资源状态变为“已过期”。
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。
访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。 调试 您可以在API Explorer中调试该接口。
flink.hadoop.fs.obs.security.provider 是 无 String OBS AKSK认证机制,使用DEW服务中的CSMS凭证管理,获取OBS的AK、SK。
("list all batch jobs..."); // 通过调用DLIClient对象的listAllBatchJobs方法查询批处理作业 String queueName = "queueName"; int from = 0; int size = 1000
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了套餐包时,按需使用过程中优先抵扣套餐包的规格额度,超过额度的使用量按需计费。
projectId指项目编号,从华为云“基本信息>我的凭证”页面获取项目编号。 “?”
spark.hadoop.fs.obs.security.provider 是 无 String OBS AKSK认证机制,使用DEW服务中的CSMS凭证管理,获取OBS的AK、SK。
单击“上传对象”,将people.json文件上传到OBS桶根目录下。 在OBS桶根目录下,单击“新建文件夹”,创建名为“result”的文件夹。 单击“result”的文件夹,在“result”下单击“新建文件夹”,创建名为“parquet”的文件夹。