检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但调整这个参数可能会影响到作业的执行效率和资源消耗,因此在做调整时需要根据实际的数据量和压缩率来选择适合的参数值。 父主题: DLI数据库和表类
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
在SQL作业编辑器左侧,选择“数据库”页签,单击创建demo数据库,请参见图2。 图2 创建数据库 “default”为内置数据库,不能使用该数据库名。 选择demo数据库,在编辑框中输入以下SQL语句: create table detail_records( driverID String
单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”。 单击“预览”页签,即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 鼠
在停止作业之前,用户可以触发保存点,保存作业的状态信息。当该作业再次启动时用户可以选择是否从保存点恢复。 勾选“触发保存点”表示创建保存点。不勾选“触发保存点”表示不创建保存点。默认不创建保存点。 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自动删除,不会一直保存。
因此,该问题为验证方式不正确造成。 参考信息 插入数据的SQL语法,请参考《数据湖探索Spark SQL语法参考》。 父主题: DLI数据库和表类
TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 所需权限 SQL权限 表2 DROP TABLE所需权限列表 权限描述 表所在数据库的DROP_TABLE权限 细粒度权限:dli:table:dropTable。
单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中,单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中,选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签,鼠标左键
SQL作业使用咨询 DLI是否支持创建临时表? 问题描述:临时表主要用于存储临时中间结果,当事务结束或者会话结束的时候,临时表的数据可以自动删除。例如MySQL中可以通过:“create temporary table ...” 语法来创建临时表,通过该表存储临时数据,结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能?
在DLI控制台总览页面左侧,单击“SQL编辑器”,进入SQL作业编辑器页面。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建名字为demo的数据库。 在DLI的SQL编辑窗口,执行引擎选择“spark”,队列选择“default”,数据库选择为“demo”。输入以下建表语句,创建OBS表test_csv_hw并导入test
ALTER (DATABASE|SCHEMA) schema_name SET LOCATION obs_location ALTER (DATABASE|SCHEMA) database_name SET OWNER USER username ALTER (DATABASE|SCHEMA)
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
fault”,“数据库”选择“default”,单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示,也可以在自建的队列和数据库下执行。 创建队列请参考创建队列。创建数据库请参考创建数据库。 后续指引 完
ttp_port”配置参数值。默认为:21425。 数据库名为ClickHouse集群创建的数据库名称。 connector.table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。
Flink作业如何保存作业日志? 在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OB
发方式参考》。 与关系型数据库服务(RDS)的关系 关系型数据库(Relational Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。 数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。 存
查询所有表(废弃) 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃,不推荐使用。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true
DS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。 “db”为创建的mongo(DDS)数据库名称。 mongo(DDS)数据库用户创建详见:创建DDS数据库账户。 database DD
PARTITIONS:分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(
支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外,还提供开箱即用的connector,包括数据库(RDS、GaussDB)、消息队列(DMS)、数据仓库(DWS)、对象存储(OBS) 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。