检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS外表,由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办? 问题现象 创建OBS外表,因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如,当前创建的OBS外表语句为: CREATE TABLE test06 (name string, id
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
创建表(废弃) 功能介绍 该API用于创建新的表。该接口是同步接口。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/databases/{database_name}/tables
查看表统计信息 功能描述 查看表统计信息。返回所有列的列名和列数据类型。 语法格式 1 DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name; 关键字 EXTENDED:显示表的所有元数据,通常只在debug时用到。 FORMAT
描述表信息(废弃) 功能介绍 该API用于描述指定表的元数据信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}
删除表(废弃) 功能介绍 该API用于删除指定的表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/databases/{database_name}/tables/{table_name}
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
在DLI控制台配置表权限 表权限操作场景 针对不同用户,可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant G
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符,则默认为逗号(
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
使用Hive语法创建DLI表 功能描述 使用Hive语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
在DLI控制台创建数据库和表 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 表是数据库最重要的组成部分之一。表是由行与列组合成的。每一列被当作是一个字段。每个字段中的值代表一种类型的数据。 数据库是一个框架,表是其实质内容。一个数据库包含一个或者多个表。
创建源表 Kafka源表 DIS源表 JDBC源表 DWS源表 Redis源表 Hbase源表 userDefined源表 父主题: 数据定义语句DDL
在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。 单击OBS桶,获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager
创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
DWS维表 功能描述 创建DWS表用于与输入流连接,从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的
MySQL CDC源表 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨