检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable;
DLI跨源表执行insert操作时,会将DWS源表删除重建,客户没有对应更新DLI端跨源表建表语句,导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表,并添加建表配置项 truncate = true(只清空表数据,不删除表)。 建议与总结 在更新跨源目的端源表后,必须同时更新对应DLI跨源表。 父主题:
); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索
否 Array of Objects 已上传的用户资源名列表, 资源详情请参见表4。 modules 否 Array of Objects 系统内置资源模块列表,模块详情请参考表5。 groups 否 Array of Objects 已上传的用户分组资源。 total 是 Integer
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects
when matched and flag = true then delete when not matched then insert *; 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
Spark2.4.x:配置名为spark.launcher.childConectionTimeout Spark3.3.x:配置名修改为spark.launcher.childConnectionTimeout 升级引擎版本后是否对作业有影响: 有影响,配置参数名称变化。 Spark3
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题: SQL作业运维类
文件的footer中。 Bucket索引:在写入数据过程中,通过主键进行Hash计算,将数据进行分桶写入;该索引写入速度最快,但是需要合理配置分桶数目;Flink、Spark均支持该索引写入。 状态索引:Flink引擎独有索引,是将行记录的存储位置记录到状态后端的一种索引形式,在
发调试再上线),建议您使用包年/包月计费模式,可以更优惠。同时,按需计费的队列,在空闲1小时后(队列空闲是指该队列上没有正在运行的作业),系统会自动释放计算资源,再次使用时,需要重新分配计算资源,可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况,节省等待时间。
队列的标签,使用标签标识云资源。包括“标签键”和“标签值”,具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版,配置该参数值为{"spec":"basic"}。 不配置该参数时默认为标准版弹性资源池。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 Kafka Sink配置发送失败重试机制 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 作业语义检验时提示DIS通道不存在怎么处理?
S中。 insert into test_parquet_hw select * from test_csv_hw 检查结果,如图5所示,系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
是否仅通过域名访问es节点,默认为false。使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es.nodes时,不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段,其值作为es中Document的id。
比,能够对TB级数据实现秒级响应,极大提升了数据查询的效率。 Serverless资源开箱即用: Serverless服务模式无需关注底层配置、软件更新和故障问题,资源易维护,易扩展。 多种资源类型满足不同场景业务需求: 共享资源池:按量计费,提供极致的性价比资源。 独享资源池:提供独享资源池,满足高性能资源需求。
缓存到Slot内存中,然后通过键将流中的每条记录与表进行关联,以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后,将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache