检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LOAD数据到OBS外表报错：IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中，使用LOAD DATA命令导入数据到DLI表中时报如下错误： error.DLI.0001: Illeg
查看指定队列或弹性资源池的账单 DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单，包含以下三步操作： 在DLI云服务控制台获取资源名称。 根据DLI资源名称，在“我的资源”页面根据资源名称查看资源ID。（资源名称不唯一，因此建议使用名称查询指定的资源ID后再查看账单。）
改的时间（LAST_ACCESS_TIME）超过生命周期指定的时间，则上述分区会被回收。 生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后，立刻被回收。 删除表后，表的所有属性信息全部会删除，包括生命周期。新建同名表后，表的生命周期以新设置的属性为准。
only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
从DLI导入数据到OBS，数据量不一致怎么办？ 问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。
单击“更多 > 下载认证凭据”，保存后解压得到Truststore文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kafka认证信息，详细参数说明请参考表2。
改的时间（LAST_ACCESS_TIME）超过生命周期指定的时间，则上述分区会被回收。 生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后，立刻被回收。 删除表后，表的所有属性信息全部会删除，包括生命周期。新建同名表后，表的生命周期以新设置的属性为准。
给新用户设置全局变量权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 全局变量用户授权 单击“全局配置 > 全局变量”页面，单击全局变量“操作”列中的“权限设置”，进入“用户权限信
Hive结果表 功能描述 本节介绍利用Flink写Hive的表。Hive结果表的定义，以及创建结果表时使用的参数和示例代码。详情可参考：Apache Flink Hive Read & Write Flink 支持在 BATCH 和 STREAMING 模式下从Hive写入数据。
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 Flink作业权限相关操作步骤 在DLI管理控制台的左侧，选择“作业管理”>“Flink作业”。 选择待设置的
DLI完全兼容Apache Spark、Apache Flink生态和接口，是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云，减少迁移工作量。采用批流融合高扩展性框架，为TB~EB级数据提供了更实时高效的多样性算力，可支撑更丰富的大数
下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kerberos认证信息，详细参数说明请参考表2。
only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
更新模板 功能介绍 该API用于对DLI服务中已有的模板进行更新。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/streaming/job-templates/{template_id} 参数说明 表1 URI参数说明
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15，在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式，相比Flink1
Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，在搜索框中搜索“http”查看。如果开启https，则搜索“https”。 table.identifier
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操
BlackHole 功能描述 BlackHole Connector允许接收所有输入记录，常用于高性能测试和UDF输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是系统问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
