检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最后调用close方法,对需要清理的方法进行清理。 编写调试完成代码后,通过IntelliJ IDEA工具编译代码并导出Jar包。 单击工具右侧的“Maven”,参考下图分别单击“clean”、“compile”对代码进行编译。 编译成功后,单击“package”对代码进行打包。 图9 编译打包 打包成功后
需要一定的技术能力完成代码编译、集群搭建、配置、运维。 用户需要自己编写完整代码并进行编译。 用户需要登录集群使用命令进行提交,且需要维护集群。 用户需要在代码里写入checkpoint才能开启。 作业模板 内置多个常见Flink SQL通用场景模板,帮助您快速了解和构建作业代码 暂无 企业安全
列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI,示例代码如下: 1 2 3 4 5 6 7 8 9 10 private static void createSQLJob(DLIClient
} } 图8 编写UDAF函数代码 编写调试完成代码后,通过IntelliJ IDEA工具编译代码并导出Jar包。 单击工具右侧的“Maven”,参考下图分别单击“clean”、“compile”对代码进行编译。 编译成功后,单击“package”对代码进行打包。 图9 导出jar包
已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 private static Database createDatabase(DLIClient client)
lient的初始化,参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
scala样例代码 pyspark样例代码 java样例代码 Hbase源表 Hbase结果表 Hbase维表 - CloudTable OpenTSDB 创建OpenTSDB关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - CSS
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
本例介绍通过DLI控制台提交Jar作业程序包的基本流程。由于不同的业务需求,Jar包的具体编写会有所差异。建议您参考DLI提供的示例代码,并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。
getInt(1); int b = rs.getInt(2); } 关闭连接。 conn.close(); 示例 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 本示例以ak和sk保存在环境变量中为例,运
对接DWS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
FileSystem源表 功能描述 本节介绍FileSystem源表的定义,以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
Power BI将使用ODBC连接到Kyuubi,并允许你预览和选择数据库中的表和视图。 在预览库表时请选择limit,否则分区表将全表扫描。 常用操作:SQL作业参数设置 根据安装ODBC驱动类型选择配置方法: 使用Cloudera Hive ODBC (v2.5.12)驱动
用于对输入进行分区的列名。分区扫描参数,具体请参考分区扫描功能介绍。 scan.partition.num 否 无 Integer 分区的个数。分区扫描参数,具体请参考分区扫描功能介绍。 scan.partition.lower-bound 否 无 Integer 第一个分区的最小值。分区扫描参数,具体请参考分区扫描功能介绍。