检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Spark3
将str按照charset格式进行编码。 find_in_set find_in_set(string <str1>, string <str2>) BIGINT 查找字符串str1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 get_json_object get_json_object(string
将str按照charset格式进行编码。 find_in_set find_in_set(string <str1>, string <str2>) BIGINT 查找字符串str1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 get_json_object get_json_object(string
CloudTable表表示数据储存在CloudTable服务的表中。 可通过DLI创建表,与其他服务的数据进行关联,以此来实现不同数据源的联合查询分析。 常量与变量 环境变量中,常量与变量的区别如下: 常量在程序运行过程中,所表示的值是无法被改变的。 变量是“可读、可写”,而常量是“
“false”表示允许调用。 “true”表示不允许调用。 说明: 当dli.sql.checkNoResultQuery=false时,非查询语句会执行两次。 在“添加数据源配置”页面工具栏中单击“测试连接”,测试通过后,单击“保存”,填写数据源名称,保存该数据源。 目前没有根目录保存权限,需保存到已建文件夹目录下。
opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession.sql("select * from opentsdb_new_test").show(); 插入数据后:
业,Spark作业和Flink作业。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
obs://bucket/checkpoint 编译运行 应用程序开发完成后,参考Flink Jar作业开发基础样例将编译打包的JAR包上传到DLI运行,查看对应OBS路径下是否有相关的数据信息。 父主题: Flink Jar作业开发指南
98端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。
系统提示信息,执行成功时,信息可能为空。 job_id 否 String 此SQL将生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 job_mode 否 String 作业执行模式: async:异步 sync:同步 请求示例 将db2.t2的
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配
into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession.sql("SELECT * FROM opentsdb_test") 通过DataFrame
sql("INSERT INTO TABLE person VALUES ('John', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession.sql("SELECT * FROM person".stripMargin).collect().foreach(println)
插入数据 1 sparkSession.sql("insert into test_dds values('3', 'Ann',23)") 查询数据 1 sparkSession.sql("select * from test_dds").show() 提交Spark作业 将写好的python代码文件上传至DLI中。
插入数据 1 sparkSession.sql("insert into dli_to_dws values(2,'John',24)") 查询数据 1 jdbcDF = sparkSession.sql("select * from dli_to_dws").show() 操作结果
opentsdb_test values('futian', 'abc', '1970-01-02 18:17:36', 30.0)") 查询数据 1 sparkSession.sql("select * from opentsdb_test").show() 返回结果: 通过DataFrame
创建CSS跨源表的参数详情可参考表1。 插入数据 1 sparkSession.sql("insert into css_table values(3,'tom')") 查询数据 1 2 jdbcDF = sparkSession.sql("select * from css_table") jdbcDF.show()
条记录进行取值。 但在批处理模式下,它在查询开始时计算一次,并对每一行使用相同的结果。 LOCALTIME TIME 返回本地时区的当前 SQL 时间,返回类型为 TIME(0)。在流模式下为每条记录进行取值。 但在批处理模式下,它在查询开始时计算一次,并对每一行使用相同的结果。
mongo的链接地址信息 插入数据 sparkSession.sql("insert into test_dds values('3', 'Ann',23)") 查询数据 sparkSession.sql("select * from test_dds").show() 操作结果 通过DataFrame