检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型,可以在运行时定义数据结构,不需要事先定义元数据。 定义您的数据结构,包括数据目录、数据库、表。请参考创建数据库和表。 创建必要的存储桶来存储作业运行过程中产生的临时数据:作业
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什么已有View视图的select权限,但是查询不了View? 提交作业时提示作业桶权限不足怎么办?
所要进行JOIN连接的表必须是已经存在的表,否则会出错。 示例 返回student_info_1与student_info_2两张表中的所有学生姓名对组合,但不包含相同姓名的姓名对。 1 2 SELECT student_info_1.name, student_info_2.name FROM student_info_1
new DecimalTypeInfo(25,5), "test for c11"); 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 9 private static void deleteTables(Database
在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。 Microsoft Hive ODBC,推荐使用v2
); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下,也不会修改与指定schema关联的表或分区,它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema 存储路径 ALTER SCHEMA foo SET LOCATION
DLI权限分类 权限大类 权限小类 控制台操作 SQL语法 队列权限 队列管理权限 请参考队列权限管理 无 队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限
DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列
column_name view的格式为:databases.db_name.tables.view_name 示例 显示用户user_name1在数据库db1上的权限。 1 SHOW GRANT USER user_name1 ON databases.db1; 父主题: 数据权限相关
Method Python Method API Database 创建数据库 createDatabase create_database POST /v1.0/{project_id}/databases 删除数据库 deleteDatabase delete_database DELETE
Boolean 判断用户是否为管理员。 user_name 否 String 用户名称,即该用户在当前数据库上有权限。 privileges 否 Array of Strings 该用户在数据库上的权限。 请求示例 无 响应示例 { "is_success": true,
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli
创建OBS表需要指定OBS路径,且该路径需要提前创建。 完整样例代码和依赖包说明请参考:Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。 Microsoft Hive ODBC,推荐使用v2
确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
[WITH (property_name=property_value,...)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 示例 创建一个名为web的schema:
10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象,构造函数的入参包括队列、数据库名、表名(通过实例化Table对象获取)和数据路径 private static void importData(Queue queue,
com:8000/postgres 如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 passwdauth DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 dbtable 数据库postgres中的数据表。 partitionColumn
在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。 1 2 SELECT student_info.name, course_info.courseName FROM student_info