数据管理-华为云

数据治理中心 DATAARTS STUDIO-新建数据表:参数说明

参数说明表5 DLI 数据表参数是否必选说明基本属性表名是数据表的名称。只能包含英文小写字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。别名否数据表的别名，只能包含中文字符、英文字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。数据连接类型是数据表所属的数据连接类型。系统默认。数据连接是数据表所属的数据连接。系统默认。数据库是数据表所属的数据库。系统默认。数据位置是选择数据存储的位置： OBS DLI 数据格式是选择数据的格式。“数据位置”为“OBS”时，配置该参数。 parquet：支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 csv：支持读取不压缩、gzip压缩的csv数据。 orc：支持读取不压缩、snappy压缩的orc数据。 json：支持读取不压缩、gzip压缩的json数据。路径是选择数据存储的OBS路径。“数据位置”为“OBS”时，配置该参数。如果OBS路径不存在或者OBS桶不存在，系统支持可以自动创建OBS目录。说明：如果OBS桶创建超过上限，系统会自动提示“创建obs目录失败，错误原因：[Create OBS Bucket failed:TooManyBuckets:You have attempted to create more buckets than allowed]”。表描述否数据表的描述信息。表结构列类型是选择列类型。包含分区列和普通列。系统默认普通列。列名是填写列名，列名不能重复。类型是选择数据类型，具体说明请参见《数据湖探索 SQL语法参考》的数据类型。列描述否填写列的描述信息。操作否单击，增加列。单击，删除列。表6 DWS数据表参数是否必选说明基本属性表名是数据表的名称。只能包含英文字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。别名否数据表的别名，只能包含中文字符、英文字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。数据连接类型是数据表所属的数据连接类型。系统默认。数据连接是数据表所属的数据连接。系统默认。数据库是数据表所属的数据库。系统默认。模式是选择数据库的模式。表描述否数据表的描述信息。高级选项否提供以下高级选项：选择数据表的存储方式行存模式列存模式选择数据表的压缩级别行存模式：压缩级别的有效值为YES/NO。列存模式：压缩级别的有效值为YES/NO/LOW/MIDDLE/HIGH，还可以配置列存模式同一压缩级别下不同的压缩水平0-3（数值越大，表示同一压缩级别下压缩比越大）。表结构列名是填写列名，列名不能重复。数据分类是选择数据类型的类别：数值类型货币类型布尔类型二进制类型字符类型时间类型几何类型网络地址类型位串类型文本搜索类型 UUID类型 JSON类型对象标识符类型类型是选择数据类型，具体说明请参见《数据仓库服务开发指南》的数据类型。列描述否填写列的描述信息。是否建ES索引否单击复选框时，表示需要建立ES索引。建立ES索引时，请同时在“CloudSearch集群名”中选择建立好的 CSS 集群。如何创建 CS S集群，请参见《云搜索服务用户指南》的创建集群。 ES索引数据类型否选择ES索引的数据类型： text keyword date long integer short byte double boolean binary 操作否单击，增加列。单击，删除列。表7 MRS Hive数据表参数是否必选说明基本属性表名是数据表的名称。只能包含英文小写字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。别名否数据表的别名，只能包含中文字符、英文字母、数字、“_”，不能为纯数字，不能以“_”开头，且长度为1~63个字符。数据连接类型是数据表所属的数据连接类型。系统默认。数据连接是选择数据表所属的数据连接。系统默认。数据库是选择数据表所属的数据库。系统默认。表描述否数据表的描述信息。表结构列名是填写列名，列名不能重复。数据分类是选择数据类型的类别：原始类型 ARRAY MAP STRUCT UNION 类型是选择数据类型，具体说明请参见LanguageManual DDL。列描述否填写列的描述信息。操作否单击，增加列。单击，删除列。

数据治理中心 DATAARTS STUDIO 数据管理

数据治理中心 DATAARTS STUDIO-新建数据表:相关操作

相关操作查看表详情：在脚本开发导航栏，选择，展开下方的数据连接至数据表层级，右键单击表名称，选择“查看表详情”，可查看如表4所示的数据表信息。表4 表详情页面页签名称说明表信息显示数据表的基本信息和存储信息。字段信息显示数据表的字段信息。数据预览预览数据表的10条记录。 DDL 显示DLI/DWS/MRS Hive数据表的DDL。删除表：在脚本开发导航栏，选择，展开下方的数据连接至数据表层级，右键单击表名称，选择“删除”后，在弹出的页面中单击“确定”完成删除。删除操作不可撤销，请谨慎操作。

数据治理中心 DATAARTS STUDIO 数据管理

数据治理中心 DATAARTS STUDIO-数据管理流程

数据管理流程数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以：支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。支持可视化和DDL方式管理数据库表。注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS SQL、DLI SQL、MRS Hive SQL、MRS Spark SQL代理模式均支持查看目录树，其他数据连接均不支持。如果您在使用数据开发前，已创建了数据连接和对应的数据库和数据表，则可跳过数据管理操作，直接进入脚本开发或作业开发。数据管理的使用流程如下：图1 数据管理流程创建数据连接，连接相关数据湖底座服务。具体请参见新建数据连接。基于相应服务，新建数据库。具体请参见新建数据库。如果是DWS连接，则需要新建数据库模式；否则直接新建数据表。具体请参见（可选）新建数据库模式。新建数据表。具体请参见新建数据表。父主题：数据管理

数据治理中心 DATAARTS STUDIO 数据管理

图引擎服务 GES-新增元数据(2.1.18):响应示例

响应示例状态码： 200 OK { "id" : "ff8080815f9a3c84015f9a438ff70001", "name" : "movie_schema" } 状态码： 500 Internal Server Error { "errorCode" : "GES.2067", "errorMessage" : "name: 1 to 64 characters, only letters, digits, and underscores(_) are allowed." }

图引擎服务 GES 元数据管理API

图引擎服务 GES-新增元数据(2.1.18):请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 X-Auth-Token 是 String 用户Token。用于获取操作API的权限。获取方法请参见获取Token 接口，响应消息头中X-Subject-Token的值即为Token。表3 请求Body参数参数是否必选参数类型描述 metadataPath 是 String 元数据存储地址。 name 是 String 元数据的名称，限制为1-64个字符，且只能包含字母，数字或下划线。 description 是 String 对元数据的描述信息。 isOverwrite 是 Boolean 是否覆盖文件。取值为true或false，默认值为false。 true表示覆盖文件。 false表示不覆盖文件。 gesMetadata 是 Object 存储metadata的消息信息的对象。

图引擎服务 GES 元数据管理API

图引擎服务 GES-新增元数据(2.1.18):请求示例

请求示例 POST https://Endpoint/v1.0/{project_id}/graphs/metadatas { "metadataPath": "gesdata/demo_movie/schema.xml", "name": "movie_schema", "description": "xxxxx", "isOverwrite": "true", "encryption":{ "enable":true, "masterKeyId":"2fc79d04-7010-4f63-9534-d8de74ab67e0" }, "gesMetadata": { "labels": [ { "name": "friends", "properties": null }, { "name": "movie", "properties": [ { "dataType": "string", "name": "ChineseTitle", "cardinality": "single" }, { "dataType": "int", "name": "Year", "cardinality": "single" }, { "dataType": "string", "name": "Genres", "cardinality": "set" } ] }, { "name": "user", "properties": [ { "dataType": "string", "name": "Name", "cardinality": "single" }, { "typeName1": "F", "typeName2": "M", "typeNameCount": "2", "dataType": "enum", "name": "Gender", "cardinality": "single" }, { "typeName1": "Under 18", "typeName2": "18-24", "typeName3": "25-34", "typeName4": "35-44", "typeNameCount": "7", "dataType": "enum", "name": "Age", "typeName5": "45-49", "typeName6": "50-55", "cardinality": "single", "typeName7": "56+" }, { "dataType": "string", "name": "Occupation", "cardinality": "single" }, { "dataType": "char array", "name": "Zip-code", "maxDataSize": "12", "cardinality": "single" } ] }, { "name": "rate", "properties": [ { "dataType": "int", "name": "Score", "cardinality": "single" }, { "dataType": "date", "name": "Datetime", "cardinality": "single" } ] } ] } }

图引擎服务 GES 元数据管理API

数据管理服务 DAS-数据导入:使用须知

使用须知当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。导入单文件大小最大可达1GB。可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL 8.0实例表数量超过10万（5.7和5.6版本超过1万），则不能使用CSV格式。暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。导入sql单句需小于100M。

数据管理服务 DAS

数据管理服务 DAS-数据导入:使用须知

使用须知当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。导入单文件大小最大可达1GB。可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果实例表数量超过1万，则不能使用CSV格式。暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。导入sql单句需小于100M。

数据管理服务 DAS

数据管理服务 DAS-数据导入:使用须知

使用须知当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。导入单文件大小最大可达1GB。可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果实例表数量超过10万，则不能使用CSV格式。暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。不支持PostgreSQL增强版实例进行数据导入操作。导入sql单句需小于100M。

数据管理服务 DAS

数据管理服务 DAS-数据导出:使用须知

使用须知如果导出数据时未勾选“生成单表文件”，则导出的数据文件后缀为“.zip”格式，此格式的数据文件暂不支持直接导入，需要解压后才可再次导入。如果导出数据时勾选了“生成单表文件”，则导出的数据文件为每个单表的数据文件（“.sql”或者“.csv”格式），该情况下导出的数据文件可直接再次导入。如果导出的PostgreSQ L实例表数量超过10万时，使用导出数据库功能会报错表数量过多，无法导出数据。此时请使用导出SQL结果集功能。不支持PostgreSQL增强版实例进行数据导出操作。

数据管理服务 DAS

数据管理服务 DAS-数据导入:使用须知

使用须知当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。导入单文件大小最大可达1GB。可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL 8.0实例表数量超过10万（5.7和5.6版本超过1万），则不能使用CSV格式。暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。导入sql单句需小于100M。不支持通过mysqldump工具导出的包含二进制的sql文件的导入。

数据管理服务 DAS

数据管理服务 DAS-数据导入:使用须知

使用须知当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。导入单文件大小最大可达1GB。可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果实例表数量超过1万，则不能使用CSV格式。暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。导入sql单句需小于100M。

数据管理服务 DAS

数据管理服务 DAS-数据导出:使用须知

使用须知如果导出数据时未勾选“生成单表文件”，则导出的数据文件后缀为“.zip”格式，此格式的数据文件暂不支持直接导入，需要解压后才可再次导入。如果导出数据时勾选了“生成单表文件”，则导出的数据文件为每个单表的数据文件（“.sql”或者“.csv”格式），该情况下导出的数据文件可直接再次导入。如果导出的MySQL 8.0实例表数量超过10万（5.7和5.6版本超过1万）时，使用导出数据库功能会报错表数量过多，无法导出数据。此时请使用导出SQL结果集功能。

数据管理服务 DAS

数据管理服务 DAS-数据导出:使用须知

使用须知如果导出数据时未勾选“生成单表文件”，则导出的数据文件后缀为“.zip”格式，此格式的数据文件暂不支持直接导入，需要解压后才可再次导入。如果导出数据时勾选了“生成单表文件”，则导出的数据文件为每个单表的数据文件（“.sql”或者“.csv”格式），该情况下导出的数据文件可直接再次导入。如果导出的RDS for SQL Server实例表数量超过1万时，使用导出数据库功能会报错表数量过多，无法导出数据。此时请使用导出SQL结果集功能。

数据管理服务 DAS

数据管理服务 DAS-数据导出:使用须知

使用须知如果导出数据时未勾选“生成单表文件”，则导出的数据文件后缀为“.zip”格式，此格式的数据文件暂不支持直接导入，需要解压后才可再次导入。如果导出数据时勾选了“生成单表文件”，则导出的数据文件为每个单表的数据文件（“.sql”或者“.csv”格式），该情况下导出的数据文件可直接再次导入。如果导出的实例表数量超过1万时，使用导出数据库功能会报错表数量过多，无法导出数据。此时请使用导出SQL结果集功能。

数据管理服务 DAS

云服务器内容精选

数据管理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线