检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景说明 场景举例 生效机制 操作影响 场景一 修改了原有程序包类的实现逻辑，重新创建的函数指定的JAR包名和类名保持和原有一致。 在Spark SQL队列下已创建自定义函数F1，指定类名C1，Jar包名J1。 后续对J1包中函数实现做了逻辑修改，重新执行创建函数F2，指定类名C1，Jar包名J1。
但调整这个参数可能会影响到作业的执行效率和资源消耗，因此在做调整时需要根据实际的数据量和压缩率来选择适合的参数值。 父主题： DLI数据库和表类
信息补全，而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。 结果表：Flink作业输出的结果数据表，将每条实时处理完的数据写入的目标存储，如 MySQL，HBase 等数据库。 示例： Flink 实时消费用户订单数据的 Kafka 源表，通过
COLUMNS：表中的列。 FROM/IN：指定数据库，显示指定数据库下的表的列名。FROM和IN没有区别，可替换使用。 参数说明 表1 参数说明 参数 描述 table_name 表名称。 db_name 数据库名称。 注意事项 所指定的表必须是数据库中存在的表，否则会出错。 示例 查看student表中的所有列。
单击需删除表的数据库名，进入该数据库的“表管理”页面。 选中目标表，单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中，单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中，选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签，鼠标左键
url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否 数据库认证密码，需要和'username'一起配置。
的其他用户赋予查询和操作的权限。赋权操作如下： 使用创建表的用户账号登录到DLI管理控制台，选择“数据管理 > 库表管理”。 单击对应的数据库名称，进入到表管理界面。在对应表的“操作”列，单击“权限管理”，进入到表权限管理界面。 单击“授权”，授权对象选择“用户授权”，用户名选择
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector
接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。 在“test2”的数据库所在行，操作列，单击“SQL查询”，输入以下创建表语句
对于不同作业某些参数值不同，直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。如需修改参数值，直接在FlinkOpenSource
对于不同作业某些参数值不同，直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。如需修改参数值，直接在FlinkOpenSource
SQL作业使用咨询 DLI是否支持创建临时表？ 问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？
支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、GaussDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。
创建Hive Catalog 简介 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的，例如Hive
column_name 示例 回收用户user_name1对于数据库db1的删除数据库权限。 1 REVOKE DROP_DATABASE ON databases.db1 FROM USER user_name1; 回收用户user_name1对于数据库db1的表tb1的SELECT权限。 1 REVOKE
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS Postgres实例。本示例创建的RDS Postgres数据库版本选择为：11。 具体步骤可参考：RDS PostgreSQL快速入门。
该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据，并写入到Print结果表中，其具体步骤如下（当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11）： 参考增强型跨源连接，根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨
跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ Spark中没有datetime数据类型，其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如： select cast(create_date as string)
dynamicPartitionOverwrite.enabled”默认值为“false”，在不配置时它会覆盖整张表的数据。 详细说明请参考插入数据。 父主题： DLI数据库和表类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
