检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1 创建生命周期规则
调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 表6 错误码 错误码 错误信息 DLI.0001 参数校验错误 DLI.0999 服务端系统错误 父主题： 全局变量相关API
配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百
推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业 开发Flink Jar作业 CloudTable
当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。
池并添加队列。 全局共享模式： 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式，不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源，资源的大小是按需分配的。在不确定数据量大小或偶尔需要进行数据处理的用户，可以使用default队列执行作业。
改的时间（LAST_ACCESS_TIME）超过生命周期指定的时间，则上述分区会被回收。 生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后，立刻被回收。 删除表后，表的所有属性信息全部会删除，包括生命周期。新建同名表后，表的生命周期以新设置的属性为准。
给新用户设置跨源认证权限时，该用户所在用户组具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证，单击操作
配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百
适用于可预估队列使用量的场景、或测试项目等资源消耗不高的场景。 弹性资源池CU时套餐包的额度按订购周期重置。 存储量套餐包 按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。 适用于在DLI 存储表数据的场景，例如时延敏感类的业务将表存储在DLI，使用存储量套餐包可以节省存储费用。
数据库的CREATE_TABLE权限 细粒度权限：dli:database:createTable LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 通过表名创建非分区表 create table if not exists delta_table0
DLI完全兼容Apache Spark、Apache Flink生态和接口，是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云，减少迁移工作量。采用批流融合高扩展性框架，为TB~EB级数据提供了更实时高效的多样性算力，可支撑更丰富的大数
任务的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数？。 怎样查看作业所需的资源CUs数？ SQL作业： 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数，并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业： 登录DLI管理管理控制台。
给新用户设置队列权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 队列权限相关操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 队列管理”。 选择待设置的队列，单击其“操
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下： 1 2 3 4 5 private static void
"spark.hadoop.fs.obs.secret.key"参数对应的值“yyy”需要替换为账号的SK值。 AK和SK值获取请参考：如何获取AK和SK。 读取OBS桶中的“people.json”文件数据。 其中“dli-test-obs01”为演示的OBS桶名，请根据实际的OBS桶名替换。
用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 弹性资源池权限管理操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 弹性资源池”。 选择待设置的弹性资源池，单击其“操作”列中的“更多
查看指定队列或弹性资源池的账单 DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单，包含以下三步操作： 在DLI云服务控制台获取资源名称。 根据DLI资源名称，在“我的资源”页面根据资源名称查看资源ID。（资源名称不唯一，因此建议使用名称查询指定的资源ID后再查看账单。）
API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。 父主题： Hudi数据表设计规范
给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 Flink作业权限相关操作步骤 在DLI管理控制台的左侧，选择“作业管理”>“Flink作业”。 选择待设置的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
