检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业中使用元数据服务，或者配置了HMS同步参数，在创建MOR表后，会额外同步创建：“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询，查询后缀为ro的表代表读优化查询。例如：通过Spark SQL创建hudi表名为${table_name}， 同步元数据服务后，数据库
无 String MySQL 数据库服务器的 IP 地址或主机名。 username 是 无 String 连接到 MySQL 数据库服务器时要使用的 MySQL 用户的名称。 password 是 无 String 连接 MySQL 数据库服务器时使用的密码。 database-name
wasNull() get系列方法 DatabaseMetaData API支持的常用方法签名 ResultSet getCatalogs() 在DLI服务中没有Catalog的概念，返回空的ResultSet。 ResultSet getColumns(String catalog, String
as hh; 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 INSERT_INTO_TABLE 细粒度权限：dli:table:insertIntoTable 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自定义镜像。 将镜像发布到SWR（容器镜像服务）中。 在DLI服务作业编辑页面选择自己生成的镜像，运行作业。 查看作业执行情况。 获取DLI基础镜像 请根据队列的架构类型选择相同类型的基础镜像。
将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤： 步骤1：创建并上传数据。将数据上传到对象存储服务OBS。 步骤2
这里的sink表通过创建临时表指向Hudi表路径来写入数据，同时在表参数中配置hive_sync相关参数，实时同步元数据至由DLI提供的元数据服务。（具体参数详见Flink参数一节） 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。 -- 临时表作为source，通过datagen
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
如果需要修改clean默认的参数，需要在执行SQL时，在设置中配置需要保留的commit数量等参数，参见Hudi常见配置参数。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
commits个Instant不会被归档，以此保证有足够的Instant去触发compation schedule。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百
preCombineField，否则存在数据最终表现与预期不一致的风险。 使用由DLI提供的元数据服务时，不支持创建DLI表，只支持创建OBS表，即必须通过LOCATION参数配置表路径。 使用由LakeFormation提供的元数据服务时，创建内表和外表均支持。需要注意：在DROP内表时，数据也会被同步删除。
n时需要添加参数hoodie.payload.ordering.field为preCombineField的值。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
hudi.keygen.ComplexKeyGenerator 同步Hive表配置 由DLI提供的元数据服务是一种Hive Metastore服务（HMS），因此下列参数与同步元数据服务相关。 表2 同步Hive表参数配置 参数 描述 默认值 hoodie.datasource.hive_sync
导入数据 功能描述 LOAD DATA可用于导入CSV、Parquet、ORC、JSON、Avro格式的数据，内部将转换成Parquet数据格式进行存储。 语法格式 1 2 LOAD DATA INPATH 'folder_path' INTO TABLE [db_name.]table_name
on>.zip”解压目录下的windows目录。例如：“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK，安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图1所示。 图1 安装Python
配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。
如果所建队列属于企业项目，可选择对应的企业项目。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明： 只有开通了企业管理服务的用户才显示该参数。 描述 该数据库的描述。 标签 使用标签标识云资
HetuEngine通过自动优化资源与负载的配比，能够对TB级数据实现秒级响应，极大提升了数据查询的效率。 Serverless资源开箱即用： Serverless服务模式无需关注底层配置、软件更新和故障问题，资源易维护，易扩展。 多种资源类型满足不同场景业务需求： 共享资源池：按量计费，提供极致的性价比资源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
