检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
聚合操作,可用在MEASURES和DEFINE子句中。关于聚合函数的详细信息,请参见聚合函数。 示例 套牌车检测 5分钟内在不同区域的城市道路或者高速道路的摄像头采集到相同牌照的车辆数据,通过对号牌切换特征的模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11
聚合操作,可用在MEASURES和DEFINE子句中。关于聚合函数的详细信息,请参见聚合函数。 示例 套牌车检测 5分钟内在不同区域的城市道路或者高速道路的摄像头采集到相同牌照的车辆数据,通过对号牌切换特征的模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11
{Endpoint} / {resource-path} ? {query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 父主题: DLI资源配额类
默认值 最大值 MAXCOLUMNS 2000 20000 设置MAXCOLUMNS Option的值后,导入数据会对executor的内存有要求,所以导入数据可能会由于executor内存不足而失败。 DATEFORMAT:指定列的日期格式。 OPTIONS('DATEFORMAT'='dateFormat')
默认值 最大值 MAXCOLUMNS 2000 20000 设置MAXCOLUMNS Option的值后,导入数据会对executor的内存有要求,所以导入数据可能会由于executor内存不足而失败。 DATEFORMAT:指定列的日期格式。 OPTIONS('DATEFORMAT'='dateFormat')
组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术界和工业界普遍用来评价决策支持技术方面应用的性能。这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H
定的结构要求,例如,PySpark程序依赖了模块moduleA(import moduleA),那么其压缩包要求满足如下结构: 图2 压缩包结构要求 即在压缩包内有一层以模块名命名的文件夹,然后才是对应类的Python文件,通常下载下来的Python库可能不满足这个要求,因此需要
ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。 WHERE:条件过滤关键字,将不满足条件的记录过滤掉,返回满足要求的记录。 注意事项 所查询的表必须是已经存在的,否则会出错。 示例 将表student中,score在(90,95)之间的记录筛选出来。 1
Acceptable 服务器无法根据客户端请求的内容特性完成请求。 407 Proxy Authentication Required 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端
变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL CDC要求Postgre版本为9.6或者10,11,12。 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨
变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL CDC要求Postgre版本为9.6或者10,11,12。 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨
管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能。 默认情况下,新建的IAM用户没有任何权限,您需要将其加
作业执行过程中,读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求,可以在插入语句后加入“DISTRIBUTE BY number”。 例如,在插入语句后添加“DISTRIBUTE BY 1”,可以将多个task生成的多个文件汇总为一个文件。
tity and Access Management,简称IAM),具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。
Java开发环境配置 操作场景 在安装和使用Java SDK前,确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。
MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何
DLI自定义策略 如果系统预置的DLI权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考权限策略和授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
即构建自定义应用Jar包并提交到DLI的队列运行。 Flink Jar作业场景需要用户自行编写并构建应用Jar包,适用于对流计算处理复杂度要求较高的用户场景,且用户可以熟练掌握Flink二次开发能力。 本节操作介绍在DLI管理控制台创建Flink Jar作业的操作步骤。 前提条件
MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何