检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CREATE FUNCTION mergeBill AS 'com.xxx.hiveudf.MergeBill' using jar 'obs://onlyci-7/udf/MergeBill.jar'; 父主题: 自定义函数
推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。
DLI将Flink作业的输出数据写入数据接入服务(DIS)中。适用于将数据过滤后导入DIS通道,进行后续处理的场景。 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定
redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port 访问端口。
{endpoint}信息请从地区和终端节点获取。 Body: { "paths": [ "https://test.obs.xxx.com/txr_test/jars/spark-sdv-app.jar" ], "kind": "jar",
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则
时间和日期类型 限制 时间和日期类型目前精确到毫秒。 表1 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式:'2020-01-01' 32位 TIME 不带时区的时间(时、分、秒、毫秒) 例如:TIME '01:02:03.456' 64位
台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。 如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案,保障数据的持久性和可靠性。 流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
1版本停止服务(EOS)公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 DLI Spark 2.3.2版本停止服务(EOS)公告
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭
查看指定队列或弹性资源池的账单 DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单,包含以下三步操作: 在DLI云服务控制台获取资源名称。 根据DLI资源名称,在“我的资源”页面根据资源名称查看资源ID。(资源名称不唯一,因此建议使用名称查询指定的资源ID后再查看账单。)
only 是否仅通过域名访问es节点,默认为false。使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es.nodes时,不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段,其值作为es中Document的id。
标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 单击“立即购买”,确认配置。 第一次创建队列时,需要勾选“同意以上隐私协议”并确定。 配置确认无误,单击“提交”完成队列创建。 如果队列名称已存在,单击“提交”时,系统会提示“Queue xxx already
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件:
} ] } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)