检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更，如果用户代码里直接继承了该Logging，且编译时使用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据
分区列 numFiles 表的最新版本中的文件个数 sizeInBytes 表的最新快照的大小（以字节为单位） properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本 minWriterVersion 可以写入该表的最低Writer版本
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table blackhole_table ( attr_name
选择“跨源管理 > 增强型跨源”。 进入增强型跨源连接列表页面，选择您需要查看的增强型跨源连接。 在列表页面的右上方单击可以自定义显示列，并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域，您可以名称和标签筛选需要的增强型跨源连接。 单击查看增强型跨源连接详细信息。
Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute by rand()”，可以增加处理作业的并发量。例如：
jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>h
Flink目前支持两种SQL 方言: default 和 hive。您需要先切换到Hive 方言，然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。 您可以为执行的每个语句动态切换方言。无需重新启动会话即可使用其他方言。 语法格式 SQL 方言可以通过 table.sql-dialect
命名表分区） ALTER_TABLE_RECOVER_PARTITION（恢复表分区） ALTER_TABLE_SET_LOCATION（设置分区的路径） SHOW_PARTITIONS（显示所有分区） SHOW_CREATE_TABLE（查看建表语句） TABLE上可以赋权/回收的权限：
Spark 3.3.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
多IO。 batch.size.entries 单次batch插入entry的条数上限，默认为1000。如果单条数据非常大，在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限，则停止存储数据，以batch.size.bytes为准，提交该批次的数据。 batch
返回输入表达式的数据类型的字符串表示形式。默认情况下返回的字符串是一个摘要字符串，可能会为了可读性而省略某些细节。 如果 force_serializable 设置为 TRUE，则字符串表示可以保留在目录中的完整数据类型。请注意， 特别是匿名的内联数据类型没有可序列化的字符串表示。在这种情况下返回 NULL。
timestamp(3), time。 为了避免数据丢失或者数据被覆盖，开启作业异常自动重启，需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs
当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数
// 设置两次checkpoint的最小间隔时间 streamEnv.getCheckpointConfig().setMinPauseBetweenCheckpoints(60000); // 设置checkpoint超时时间
I上创建数据库和表中创建的表名，即为“user_info”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。 更多参数的详细配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
下划线开头，且不能超过128字符。 var_value 是 String 全局变量值。 is_sensitive 否 Boolean 是否设置为敏感变量。默认为“false”。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
DISTINCT] query ALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行；DISTINCT返回只包含唯一的行。如果未设置，默认为DISTINCT。 INTERSECT query INTERSECT [DISTINCT] query INTERSECT仅返回
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
