检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在使用join进行多表关联查询时,不管表数据量大小,join时都需要指定on条件来减少多表关联的数据量,从而减轻队列的负荷,提升查询效率。 例如,问题现象中的问题语句可以根据业务场景,在join时通过指定on条件来进行优化,这样会极大减少关联查询的结果集,提升查询效率。 select case
户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。 kafka_properties
wkey指定的字段只有一个的时候,该字段的类型可以是支持的所有数据类型,并且不需要填写长度。 在组合Rowkey的场景中 插入Rowkey数据时,如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短,则会在数据后面补'\0'字符;如果某个属性的实际数据的长度比属性作
W HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 查看某个非分区表的备份数据信息 SHOW HISTORY FOR
W HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 查看某个非分区表的备份数据信息 SHOW HISTORY FOR
请在FLink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中
labels 否 String 创建队列的标签信息,目前包括队列是否跨AZ的标签信息的Json字符串。目前只支持值为“2”,即创建两个队列。 feature 否 String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择)
创建RDS/DWS表用于与输入流连接。 RDS的更多信息,请参见《关系型数据库用户指南》。 流表JOIN语法请参见流表JOIN。 前提条件 请务必确保您的账户下已在关系型数据库(RDS)里创建了PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例,请参见《关系型数据库快速入门》中“购买实例”章节。
key-column作为redis的key。redis的hash类型,每个key对应一个hashmap,hashmap的hashkey为源表的字段名,hashvalue为源表的字段值。 connector.key-column 否 table存储模式下可配置,将该字段值作为redis中的ext-key
假设平台已经将每个商品的订单信息实时写入Kafka中,这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付金额、支付时间、用户ID、用户姓名、订单地区ID等信息。而我们需要做的,就是根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。
户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。 kafka_properties
分布式缓存服务(DCS)为DLI提供兼容Redis的即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,满足用户高并发及快速数据访问的业务诉求。 DCS的更多信息,请参见《分布式缓存服务用户指南》。 前提条件 请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建
这个函数里面有delete 和 insert SAA_OUTBOUND_ORDER_CUST_SUM的操作。 处理步骤 修改作业逻辑,避免对同一张表并发执行insert overwrite操作。 父主题: 增强型跨源连接类
访问跨源表需要使用已经创建跨源连接的队列。 在Kafka的安全组上放通DLI队列网段 在Kafka管理控制台,选择“Kafka专享版”,单击对应的Kafka名称,进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。
发环境的项目。具体操作请参考方法二:通过在Eclipse中导入JAR文件安装SDK。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 表1 目录结构 名称 说明 jars SDK及其依赖的jar包。 maven-install
template_list 否 Object 模板列表信息。请参见表4。 表4 template_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 模板总数。 templates 否 Array of Objects 模板详细信息。具体参数说明详见表5。 表5
不配置表示动态导入整表数据,导入的数据需要包含分区列的数据; 如果导入时,配置所有分区信息,则表示导入数据到指定分区,导入的数据不能包含分区列的数据; 如果导入时,配置了部分分区信息,而导入的数据必须包含非指定的分区数据,不能包含指定的分区数据,否则数据导入后,非指定的数据分区字段列会存在null值等异常值。
创建RDS/DWS表用于与输入流连接。 RDS的更多信息,请参见《关系型数据库用户指南》。 流表JOIN语法请参见流表JOIN。 前提条件 请务必确保您的账户下已在关系型数据库(RDS)里创建了PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例,请参见《关系型数据库快速入门》中“购买实例”章节。
改为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式
a server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运行失败,作业日志中提示KrbException: