检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name 否 String 记录其操作的表所在的数据库名称。类型为Import和Export作业才有“database_name”属性。 table_name 否 String 记录其操作的
x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库，是Spark的全局临时视图。 通常在Spark作业执行注册viewManager时，会校验该数据库在meta
表继承数据库权限后，对表重复赋予已继承的权限会报错吗？ 当表继承了数据库的权限时，无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用，重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时： 如果“用户授权”赋予表的权限与继承权限相同，系统会提示已有该权限无需重复操作。
击创建demo数据库，请参见图1。 图1 创建数据库 “default”为内置数据库，不能创建名为“default”的数据库。 选择demo数据库，在编辑框中输入以下SQL语句： create table user( user_id int, age int, gender
参数名称 描述 数据库 当前表所在的数据库。 表名称 当前表名称。 数据格式 导出数据的文件格式。当前只支持json格式。 队列 选择队列。 压缩格式 导出数据的压缩方式，选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。 导出路径必
数据湖队列什么情况下是空闲状态？ 队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时
参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。
col_name：新增列名，必须指定。 暂不支持给嵌套列添加新的子列 col_type：新增列类型，必须指定。 nullable：新增列是否可以为空，可以缺省。 comment：新增列comment，可以缺省。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限
前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4
overwrite操作，报错：org.postgresql.util.PSQLException: ERROR: tuple concurrently updated 问题现象 客户对DWS执行并发insert overwrite操作，报错：org.postgresql.util.PSQLException:
因此，该问题为验证方式不正确造成。 参考信息 插入数据的SQL语法，请参考《数据湖探索Spark SQL语法参考》。 父主题： DLI数据库和表类
击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询的队列，随后点击窗口底部的窗格，展开隐藏的队列详情页面，在支持版本即可查看可用的计算引擎版本。对于SQL队列，无法切换版本，查看默认版本即可判断当前使用的计算引擎版本。 父主题： Hudi表概述
time的详细内容。 命令格式 查看某个表生效的time line列表： call show_active_instant_list(table => '[table_name]'); 查看某个表某个时间戳后的生效的time line列表： call show_active_instant_list(table
CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力，
SHALLOW CLONE参数描述 参数 描述 target_db 目标Database名称，由字母、数字和下划线（_）组成。 target_table 目标表名，由字母、数字和下划线（_）组成。 source_db 源Database名称，由字母、数字和下划线（_）组成。 source_table
version_code 参数描述 表1 查询Delta表历史版本参数说明 参数 描述 database_name Database名称，由字母、数字和下划线（_）组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 timestamp_expression
如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。 父主题： Flink作业性能调优类
为了避免这种情况，建议在SQL作业执行完成后，等待5分钟后再修改表名。确保系统有足够的时间更新表的元数据，避免因修改表名而导致的数据大小统计不准确的问题。 父主题： DLI数据库和表类
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、CSS、Redis - 维表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Password DWS、RDS、Redis - 父主题： 使用DLI的跨源认证管理数据源访问凭证
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
