检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当写入obs时必须填写该字段。 connector.partitioned-by 否 分区字段，多个字段以“,”分隔 示例 从kafka中读取数据以parquet的格式写到obs的bucketName桶下的fileName目录中。 create table kafkaSource(
值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射
FORMATTED：使用表格形式显示所有表的元数据。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。匹配规则为：^(
"process": 0.0, "name": "rds", "connection_url": "", "cluster_name": "", "service": "RDS", "create_time": 1652701307460
值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。然而以反射
在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。 创建全局变量 在DLI控制台左侧导航栏中单击“全局配置 > 全局变量”。 在“全局变量”页面，单击右上角“创建变量”，可创建新的全局变量。
sequence生成器，您可以通过“fields.#.start”和“fields.#.end”指定序列的起始和结束值。sequence是有界的生成器，当序列数字达到结束值，读取结束。 fields.#.min 否 '#'号指定的字段类型的最小值 '#'号指定的字段类型 当“fields.#.kind”字段为：random时有效。
怎样配置DLI队列与数据源的网络连通？ 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通与目的数
测试DLI队列与数据源的连通性 获取数据源的私有内网IP和端口。 以RDS数据源为例：在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理 > 队列管理”。
PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。
"20240102" ); 支持 支持 修改数据库属性 ALTER DATABASE testDB SET DBPROPERTIES ('Edited-by' = 'John'); 不支持 不支持 修改数据库在OBS上的文件存放路径 ALTER DATABASE testDB SET LOCATION
sparkSession.sql("insert into testhbase values('95274','abc','Jinan')") 读取HBase上的数据 sparkSession.sql("select * from testhbase").show() 通过DataFrame
value2 ...]) 参数描述 表1 MERGE INTO参数 参数 描述 database_name Database名称，由字母、数字和下划线（_）组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。
IP2:PORT2"。 resource 指定在CSS关联的资源名，用"/index/type"指定资源位置（可简单理解index为database，type为table，但绝不等同）。 说明： ES 6.X版本中，单个Index只支持唯一type，type名可以自定义。 ES 7
SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外
Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name String 记录其操作的表所在的数据库名称。类型为IMPORT、EXPORT和QUERY的作业才有“database_name”属性。 table_name String 记录其操作的
导入或导出的文件路径。 data_type 是 String 导入或导出的数据类型（当前支持csv和json格式）。 database_name 是 String 导入或导出表所属的数据库名称。 table_name 是 String 导入或导出表的名称。 with_column_header
com/96a17d961b84434baec6a58b9e567908。 下载并安装JDBC驱动 JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件： 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 2024年5月起，新用户可以直
请求格式正确，但是由于含有语义错误，无法响应。 429 TooManyRequests 表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取相应的Retry-After首部，然后等待该首部指出的时间后再重试。 500 InternalServerError 系统异常，表明服务端
描述，确认该算子具体功能，以进行下一步优化。 所有算子反压都正常（绿色），但存在数据堆积 该场景说明性能瓶颈点在Source，主要是受数据读取速度影响，此时可以通过增加Kafka分区数并增加source并发解决。 作业一个算子反压高（红色），而其后续的多个并行算子都不存在反压（绿色）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
