检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时
Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 target_alias 目标表的别名。 sub_query 子查询。 source_alias 源表或源表达式的别名。 merge_condition
hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本，执行结果的运行日志显示语句执行失败，错误信息为： DLI.0999: RuntimeException: org.apache.hadoop.fs.obs
" 解决方案 需要给执行作业的用户赋程序包的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击程序包“操作”列中的“权限管理”，进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权，勾选“更新组”权限。
开通自动续费后，还可以手动续费该资源。手动续费后，自动续费仍然有效，在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月资源还未到期。
错误码 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时，HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系企业技术人员，并提供错误码，以便我们尽快帮您解决问题。
”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource
示例3：使用CTAS语句将源表的全部数据或部分数据创建新的OBS表 示例说明：根据示例1：创建OBS非分区表中创建的OBS表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建t
COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上，需要先执行如下语句才能修改成功： ALTER TABLE table_name SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name')； 如果您的表不在所需的协议版本上，需要先执行如下语句才能修改成功：
注意事项 使用由DLI提供的元数据服务时，不支持本命令。 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文
所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 其他修改 ALTER TABLE table1
1版本停止服务后，正在使用该版本的作业有哪些影响？ 在Spark 3.1.1 EOS时间后创建的队列，在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。 DLI
Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 select query 查询语句。 所需权限 SQL权限 表2 INSERT INTO所需权限列表 权限描述 表的INSERT_INTO_TABLE权限
lastModified 最后一次修改的时间戳 partitionColumns 分区列 numFiles 表的最新版本中的文件个数 sizeInBytes 表的最新快照的大小（以字节为单位） properties 为此表设置的所有属性 minReaderVersion 可以读取该表的最低Reader版本
2版本停止服务后，正在使用该版本的作业有哪些影响？ 在Spark 2.3.2 EOS时间后创建的队列，在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Spark 2.3.2执行作业，但作业执行过程中出现的错误，不再提供该版本的任何技术服务支持，请您尽快更换至新版本的计算引擎。 DLI
所需权限 SQL权限 表2 ADD CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0
基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。 如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题，还是可以继续采用Flink状态索引，按照规范去优化对应的配置参数即可。 建议 基于Flink的流式写入的表，在数据量超
定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink
说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
