检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
STREAMING 不断写入，向Hive添加新数据，以增量方式提交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表，请参阅流式处理接收器。Streaming sink 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时，清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时： 非分区OBS表配置删除文件后，表目录也会删除。 分区OBS表自定义分区数据也会删除。
'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表，查看权限管理，是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题： DLI权限管理类
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容，此参数默认值为false（注意，此配置项为表属性，请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列，建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。 错误示例： 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable;
database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL
); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，在搜索框中搜索
DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应更新DLI端跨源表建表语句，导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表，并添加建表配置项 truncate = true（只清空表数据，不删除表）。 建议与总结 在更新跨源目的端源表后，必须同时更新对应DLI跨源表。 父主题：
是否强制重启，“action”为“restart”时可选择配置，默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。 响应消息 表3 响应参数
队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限 无 程序包权限 程序包组权限 请参考配置DLI程序包权限 无 程序包权限 跨源认证权限 跨源认证权限
将看到所需费用的明细，如图1所示。 图1 配置费用示例 根据所选配置包括弹性资源池CU范围，购买时长计算配置费用。 包年/包月：根据所选配置，弹性资源池CU范围和购买时长计算配置费用。 按需计费：根据所选配置，弹性资源池CU范围计算配置费用。 计费示例 价格仅供参考，实际计算请以DLI产品价格详情中的价格为准。
Spark2.4.x：配置名为spark.launcher.childConectionTimeout Spark3.3.x：配置名修改为spark.launcher.childConnectionTimeout 升级引擎版本后是否对作业有影响： 有影响，配置参数名称变化。 Spark3
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 MySQL已开启了Bin
SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli.sql.join.preferSortMergeJoin（是否优先使用SortMergeJoin） dli.sql
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
份认证服务（IAM），选择对应子账户所在的用户组，确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区域与实际创建的SMN主题一致。如果SMN主题名称不一致也会导致系统提示SMN主题不存在。 父主题： Flink作业咨询类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
