检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Redis Redis源表 Redis结果表 Redis维表 父主题: Connector列表
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
图3 创建详单表 执行以下SQL语句,在demo数据库下创建告警事件表event_records,步骤同1.d和1.e。
建议搭配以下服务使用 DIS、CDM、DES、OBS、RDS、CloudTable 图4 地理大数据分析
此处的sub_query与聚合函数的位置不能左右互换。
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
语法格式 1 2 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference WHERE {col_name operator (sub_query) | [NOT] EXISTS sub_query}; 关键字 ALL
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发,所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时,多版本保留周期外的数据不会自动清理。可以通过本章节介绍的
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项,
REFRESH TABLE刷新表元数据 功能描述 Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时,缓存的元数据信息未更新,导致Spark SQL查询不到新插入的数据作业执行报错,报错信息参考如下: DLI.0002: FileNotFoundException
host 是 无 String redis连接地址。 port 否 6379 Integer redis连接端口。 password 否 无 String redis认证密码。
connector.host 是 redis连接地址。 connector.port 是 redis连接端口。 connector.password 否 redis认证密码。
connector.host 是 redis连接地址。 connector.port 是 redis连接端口。 connector.password 否 redis认证密码。
若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。
host 是 无 String redis连接地址。 port 否 6379 Integer redis连接端口。 password 否 无 String redis认证密码。
begin_time --统计数据的开始时间 , channel_code , channel_name , cast(COALESCE(sum(real_pay), 0) as double) as cur_gmv --当天GMV , count(distinct
有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
创建Spark作业,访问其他外部数据源时,如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。
删除数据库(废弃) 功能介绍 该API用于删除空数据库,默认方式下,若待删除的数据库中存在表,则需先删除其中的所有表。删除表API请参见删除表(废弃)。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0
语法格式 1 SELECT [ALL | DISTINCT] attr_expr_list FROM (sub_query) [alias]; 关键字 ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。