检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源连接CSS表 创建DLI表关联CSS 插入数据至CSS表 查询CSS表 父主题: Spark SQL语法参考(即将下线)
跨源连接OpenTSDB表 创建DLI表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 父主题: Spark SQL语法参考(即将下线)
跨源连接DDS表 创建DLI表关联DDS 插入数据至DDS表 查询DDS表 父主题: Spark SQL语法参考(即将下线)
跨源连接HBase表 创建DLI表关联HBase 插入数据至HBase表 查询HBase表 父主题: Spark SQL语法参考(即将下线)
endianness' 配置。 INT 采用 big-endian (默认)编码的四个字节。字节序可以通过 'raw.endianness' 配置。 BIGINT 采用 big-endian (默认)编码的八个字节。字节序可以通过 'raw.endianness' 配置。 FLOAT 采用
DLI资源配额类 什么是用户配额? 怎样查看我的配额 如何申请扩大配额
SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表? 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本? DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
run(Thread.java:748) 问题原因 在CDM界面创建迁移作业,配置DLI目的连接参数时,“资源队列”参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。
增强型跨源连接相关API(废弃) 创建路由(废弃) 删除路由(废弃) 父主题: 历史API
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例
表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval 表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval
参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。 单击“提交”完成创建。等待弹性资源池状态变成“可使用”表示当前弹性资源池创建成功。 弹性资源池创建成功后,可以根据当前业务场景参考典型场景示例:创建弹性资源池并运行作业和典型场景示例:配置弹性资源池队列扩缩容策略完成后续操作。
ive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后,将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache.ttl 60 min Duration 查找连接中构建表的缓存 TTL(例如 10 分钟)。默认情况下,TTL
'print-identifier' = '', --配置数据前缀 'standard-error' = 'false', --输出数据到taskmanager的out文件中 'sink.parallelism' = '2' --配置并行度 ); insert into printSink
表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval 表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval
版本号,当obs里的桶或对象有设置版本的时候需填写,否则不用配置该项。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用,当前DLI支持Processing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从OBS的桶读取对象为input
版本号,当obs里的桶或对象有设置版本的时候需填写,否则不用配置该项。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用,当前DLI支持Processing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从OBS的桶读取对象为input
跨源连接DCS表 创建DLI表关联DCS 插入数据至DCS表 查询DCS表 父主题: Spark SQL语法参考(即将下线)