检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方法查询的数据都为DataFrame对象,可以直接进行查询单条记录等操作(在“步骤4”中,提到将DataFrame数据注册为临时表)。 where where 方法中可传入包含and 和 or 的条件筛选表达式,返回过滤后的DataFrame对象,示例如下: 1 jdbcDF.where("id
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭
设置是否将作业运行时的日志信息保存到OBS桶。 勾选“保存作业日志”时,还需要诶之OBS桶信息。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 OBS桶 勾选“保存作业日志”时,该参数必选。 选择OBS桶用于保存用户作业日志信息
VarianceEvaluator implements UDAFEvaluator { //初始化PartialResult对象 private AvgFilterUDAFDemo.PartialResult partial; /
自定义作业交互 MapReduce服务 MRS MRS Kafka输入流 MRS Kafka输出流 MRS HBase输出流 自定义作业交互 对象存储服务 OBS OBS输入流 OBS输出流 - 关系型数据库 RDS - RDS输出流 - 消息通知服务 SMN - SMN输出流 - 开源生态开发
ssing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从CloudTable的HBase中读取对象为car_infos的表。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 CREATE SOURCE
get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。 instr instr(string <str>, string <substr>) INT 返回su
get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。 instr instr(string <str>, string <substr>) INT 返回su
含的Slot数量。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。
ssing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从CloudTable的HBase中读取对象为car_infos的表。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 CREATE SOURCE
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink ( attr_name
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink ( attr_name
赋权信息。具体参数请参考表3。 表3 privileges参数 参数 是否必选 参数类型 说明 object 是 String 被赋权的数据对象,命名方式为: “databases.数据库名”,则数据库下面的所有数据都将被共享。 “databases.数据库名.tables.表名”
[db_name.]table_name SET TBLPROPERTIES ("dli.multi.version.trash.dir"="obs桶多版本回收站目录"); 关键字 TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明
state 在 checkpoint 和 savepoint 时进行保存。 更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项,则提供的路径仅被扫描一次,因此源将是有界的。 可用的Metadata 以下连接器 metadata 可以在表定义时作为
[db_name.]table_name SET TBLPROPERTIES ("dli.multi.version.trash.dir"="obs桶多版本回收站目录"); 关键字 TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明
删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。 检查目录权限 确保您已具备访问和写入该OBS路径的权限。如果权限缺失可以联系管理员添加对应的OBS桶权限。 父主题: SQL作业运维类
单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
MySQL数据源 创建目的端DLI数据源的连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索(DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数