检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。
示例 创建一个名为web的schema: CREATE SCHEMA web; 在指定路径创建schema,路径必须是obs的并行桶,路径末尾不能加/,指定路径兼容写法示例: CREATE SCHEMA test_schema_5 LOCATION 'obs://${bucket}
ALTER SCHEMA 语法 ALTER (DATABASE|SCHEMA) schema_name SET LOCATION obs_location ALTER (DATABASE|SCHEMA) database_name SET OWNER USER username ALTER
确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
被删除的数据行将被移动到OBS的回收站。 示例 create table testfordrop(name varchar); drop table if exists testfordrop; 父主题: DDL 语法
由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 update delta_table0 set price = price + 20 where id = 1; update delta.
资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 select query 查询语句。
obs_path Obs路径,表示Delta表的存储位置。
参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。
发布区域:全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持 DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。
前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制台左侧,单击“数据管理”>“程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,参见表1设置相关参数。
操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.
如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 当前仅适用于在默认default队列中提交作业按扫描数据量计费。 CU是弹性资源池的计价单位。
500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
obs_path Obs路径,表示Delta表的存储位置。