检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“SQL编辑器”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“SQL编辑器”。 单击“队列”切换到该页签，单击右侧的创建队列。 在“购买队列”页面，参见表1设置相关参数。 表1 参数说明 参数名称 描述 计费模式 包年/包月 该计费模式的队列为专属队列。 按需计费：建议购买cu时套餐包享受优惠。 区域
Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。
DLI将Flink作业的输出数据输出到关系型数据库中。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3
登录数据湖探索管理控制台，选择“SQL作业”，在要修改的作业所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“设置”，在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下，冒号前是配置项，冒号后是配置项的值。 spark.sql.enableToString:false
I上创建数据库和表中创建的表名，即为“user_info”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。 更多参数的详细配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。
Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS：表中的分区。 PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Da
ink Jar写入数据到OBS开发指南。 Flink 1.15 Jar 程序，采用反向类加载机制（child-first），可通过优化参数设置某些依赖包由父类加载器加载：parent.first.classloader.jars=test1.jar,test2.jar Flink
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table dataGenSource( attr_name attr_type
Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间，即它考虑了为集群设置的复制因子 quota 名称配额（名称配额是对当前目录树中的文件和目录名称数量的硬性限制） space_quota 空间配额（空间配额是对
分区列 numFiles 表的最新版本中的文件个数 sizeInBytes 表的最新快照的大小（以字节为单位） properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本 minWriterVersion 可以写入该表的最低Writer版本
在“程序包管理”页面，单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置，选择“组”或者“程序包”进行修改。 图1 修改程序包所有者 如果该程序包没有进行过分组设置，则可以参考下图，直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明
predicate on partitioned table `777dd`.`test_delta_parts1` 解决方案：在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled值为false。
timestamp(3), time。 为了避免数据丢失或者数据被覆盖，开启作业异常自动重启，需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs
说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；取消勾选即为“表头:无”，表示无表头。
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
Hudi存储结构 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境，Hudi表的数据文件存储在OBS上，因此可以通过查看OBS文件检查。 如下，展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie
在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
