检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DELTA 命令将现有的 Parquet 表就地转换为 Delta 表。 此命令会列出目录中的所有文件，创建 Delta Lake 事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。
Objects 用户自定义主机信息，详细信息参见表7。 elastic_resource_pools 否 Array of Objects 各个弹性资源池创建对等连接的信息，详细信息请参考表6。 表5 available_queue_info参数说明 参数名称 是否必选 参数类型 说明
resource_type 是 String 资源类型。 dli_queue：队列 dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_reso
被克隆的信息包括：schema、分区信息、数据文件路径等。 对克隆表所做的任何更改都只会影响克隆本身，而不会影响源表，只要它们不触及源数据。注意克隆表可能仍会指向源表的数据文件，当源表做了vacuum操作时，可能导致克隆表找不到文件。 命令格式 CREATE TABLE [target_db
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 问题现象 DLI分区内表导入了CSV文件数据，导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段，导致查询不到表数据。 问题根因 DLI分区内表在导入数据时，如果文件数据没有包含分
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题： 配置DLI读写外部数据源数据
账号B在共享的增强型跨源连接上绑定DLI弹性资源池。 账号B登录DLI管理控制台， 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择账号A共享的增强型跨源连接，单击操作列下的“更多 > 绑定弹性资源池”。 选择已创建的弹性资源池，单击“确定”完成资源的绑定。 若无可选弹性资源池，可参考创建弹性资源池并添加队列创建新的弹性资源池。
怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？ 想要使用扫描套餐包计费，购买队列还要额外收费吗？ 超出套餐包额度的使用量怎么收费？ 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时，怎样计费？
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型，而且直接使用数字作为查询语句（SELECT）的输入，如“CREATE TABLE tb_avro STORED
参数名称 是否必选 参数类型 说明 kind 否 String 指定文件类型。包括以下文件类型： jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 tags 否 String 指定标签过滤。 请求消息 无请求参数。
更多建表时的属性名与属性值请参考表2。 file_format为csv时表的属性名与属性值请参考表2和表3。 当OBS的目录下文件夹与文件同名时，创建OBS表指向的路径会优先指向文件而非文件夹。 table_comment 否 表描述信息。仅支持字符串常量。 select_statement 否 用于CTAS命令，将
obs_path 是 数据文件所在的OBS存储路径，推荐使用OBS并行文件系统存储。 格式：obs://bucketName/tblPath bucketName即桶名称。 tblPath是目录名称。目录后不需要指定文件名。 当OBS的目录下文件夹与文件同名时，创建OBS表指向的路径会优先指向文件而非文件夹。
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ 问题现象 创建OBS外表，因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如，当前创建的OBS外表语句为： CREATE TABLE test06 (name string, id
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
查询，生成了csv数据文件，文件内容为insert插入的数据内容。 图4 查询结果 指定的OBS数据目录包含数据文件。 在OBS桶“dli-test-021”根目录下创建数据文件目录“data2”。创建如下内容的测试数据文件“test.csv”，并上传文件到“obs://dli-test-021/data2”目录下。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
