检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL
database table 无 SELECT 细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
表的INSERT_INTO_TABLE权限 细粒度权限：dli:table:insertIntoTable LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 insert into delta_table0 values(1, 'a1', 20); insert
RESTORE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18
DLI为BI工具提供了便捷的连接方法： DBeaver、DBT和YongHong BI，可以直接通过DLI提供的驱动连接到DLI。这简化了配置过程，使得用户能够直接利用这些工具的强大功能。 PowerBI、Fine BI、SuperSet、Tableau和Beeline，它们可以
"table": "products", "ts": 1589373560798, "type": "UPDATE" } 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作
part2='v2') select * from ... 在“数据湖探索管理控制台>SQL编辑器”页面，单击编辑窗口右上角“设置”，可配置参数。 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾
为了避免数据丢失或者数据被覆盖，开启作业异常自动重启，需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs时，请配置主NameNode的所在节点信息。
connector版本需要不低于2.0.1，详细代码参考DISFlinkConnector相关依赖，如何配置connector，详细参考自定义Flink Streaming作业。 若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。 请勿将disToDis
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price
表的DESCRIBE_TABLE权限 细粒度权限：dli:table:describeTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DESCRIBE FORMATTED delta_table0; DESCRIBE FORMATTED
使用hive 方言：表属性中需要添加'is_lakehouse'='true'。 创建Flink OpenSource SQL作业时，在作业编辑界面配置开启checkpoint功能。 语法格式、参数说明 请参考Hive源表的语法格式和参数说明。 父主题： Hive
dli:table:insertIntoTable, dli:table:dropTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int
细粒度权限：dli:database:createTable, dli:table:select。 LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW CLONE
-------+-------------+-------+ GROUPING SETS 的每个子列表可以是空的，多列或表达式，它们的解释方式和直接使用 GROUP BY 子句是一样的。一个空的 Grouping Sets 表示所有行都聚合在一个分组下，即使没有数据，也会输出结果。
topic发送数据，验证kafka sink.topic能否收到数据。 图8 查看作业任务 图9 查看kafka sink.topic JAVA样例代码 pom文件配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table
细粒度权限：dli:database:createTable, dli:table:select。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0 using
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
