检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 > 自定义账单”,单击“维度设置”,选择“按使用量”。“统计周期”选择“明细”。在显示数据的标题行,“产品类型”选择“数据湖探索 DLI”,“产品”选择“DLI计算资源使用量”,单击“导出账单”。
相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 如果 watermark 的间隔是 0ms ,那么每条记录都会产生一个
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户,并计划使用IAM对您所拥有的DLI资源进行精细的权限管理,请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1
基本概念 租户 DLI支持多个组织、部门或应用共享使用资源。通过提供一个逻辑实体来统一使用不同资源和服务,这个逻辑实体就是租户。多个不同的租户统称多租户。租户对应公司。一个租户可以创建多个子用户,并可以对不同用户授予不同权限。 项目 各个服务中的一些可以访问的资源集合称为项目。一
DLI预置的SQL模板中TPC-H样例数据说明 TPC-H样例数据简介 TPC-H(商业智能计算测试) 是交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术
计费概述 数据湖探索DLI的计费由不同的计费项组成,不同的计费项有不同的计费模式,如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器,快速计算出购买资源的参考价格。