检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等,按表头意义在DLI上创建表,具体可以参考如下示例,其中amount列为费用。
pass'='**')"); 创建CSS跨源表的参数详情可参考表1。 插入数据 1 sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据 1 sparkSession.sql("select
权限如表3所示。 表3 使用权限说明 用户 数据工程师A(游戏数据分析) 数据工程师B(音乐数据分析) 队列 队列A(队列使用权限) 队列B(队列使用权限) 数据(表) gameTable(表管理和使用权限) musicTable(表管理和使用权限) userTable(表管理和使用权限)
Host、metric、tags三个参数详情讲解可参考表1。 插入数据 1 sparkSession.sql("insert into opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession
字符串函数概览 DLI所支持的字符函数如字符串函数所示。 表1 字符串函数 函数 命令格式 返回值 功能简介 ascii ascii(string <str>) BIGINT 返回字符串中首字符的数字值。 concat concat(array<T> <a>, array<T> <b>[
源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API 访问DWS表 import org.apache.spark.sql.SparkSession; public
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Spark3
列名。 设置为“true”,表示导出列名。 设置为“false”,表示不导出列名。 若为空,默认为“false”。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否发送成功。“true”表示请求发送成功。 message
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 计算资源 规格单价 * 购买时长 请参见DLI产品价格详情。 包年/包月弹性资源池费用计算示例:
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配
程序包管理”,单击“创建程序包”,创建Flink Jar对应的程序包。代码样例请参考FlinkDisToDisExample.java样例。 表1 创建Flink Jar对应的程序包主要参数说明 参数名称 说明 示例 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件
Host、metric、tags三个参数详情讲解可参考表1。 通过SQL API访问 插入数据 sparkSession.sql("insert into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result =
'password' = '######')") 详细的参数说明请参考表1。 插入数据 1 sparkSession.sql("insert into test_dds values('3', 'Ann',23)") 查询数据 1 sparkSession.sql("select * from
option("password", auth).load().show() 操作结果 通过SQL API 访问 创建DLI关联跨源访问 Redis的关联表。 sparkSession.sql( "CREATE TEMPORARY VIEW person (name STRING, age
(Throwable e) { LOG.error(e.getMessage(), e); } } } 表1 参数说明 参数名 具体含义 举例 output.path 数据写入的OBS路径 obs://bucket/output checkpoint
使用filter关键字可以在聚合的过程中,通过使用where的条件表达式来过滤掉不需要的行。所有的聚合函数都支持这个功能。 aggregate_function(...) FILTER (WHERE <condition>) 示例: --建表 create table fruit (name varchar
'resource'='/mytest')") 创建CSS跨源表的参数详情可参考表1。 插入数据 1 sparkSession.sql("insert into css_table values(3,'tom')") 查询数据 1 2 jdbcDF = sparkSession.sql("select
'driver'='org.postgresql.Driver')") 建表参数详情可参考表1。 插入数据 1 sparkSession.sql("insert into dli_to_dws values(2,'John',24)") 查询数据 1 jdbcDF = sparkSession.sql("select
numberic 的表示形式(默认为 ‘yyyy-MM-dd HH:mm:ss’)。numeric 是一个内部 时间戳值,表示自'1970-01-01 00:00:00’ UTC 以来的秒数,由 UNIX_TIMESTAMP() 函数生成。返回值以会话时区表示 (在 TableConfig