检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。 示例 输出Orders1和Orders2的并集,不包含重复记录。 1 2 insert into temp SELECT * FROM Orders1 UNION
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
pyspark样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置
Spark作业相关 完整样例代码和依赖包说明请参考:Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
table的方式新加了一个分区,但是此分区中并无任何数据,则此分区不会做为返回值。 示例代码 例如 table1 是分区表,该表对应的分区为20120801和20120802,且都有数据。则以下语句中max_pt返回值为‘20120802’。DLI SQL语句会读出pt=‘20120802’分区下的数据。
DLI请求条件 您可以在创建自定义策略时,通过添加“请求条件”(Condition元素)来控制策略何时生效。请求条件包括条件键和运算符,条件键表示策略语句的 Condition 元素,分为全局级条件键和服务级条件键。全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服
return print(db) “default”为内置数据库,不能创建名为“default”的数据库。 完整样例代码和依赖包说明请参考:Python SDK概述。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下: 1 2 3
Java开发环境配置 操作场景 在安装和使用Java SDK前,确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。
保留期到期后,若您仍未支付账户欠款,那么资源将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超
回的列数必须相同,列的类型一定要相同,列名不一定要相同。 UNION默认是去重的,UNION ALL是不去重的。 示例 输出Orders1和Orders2的并集,不包含重复记录。 1 2 insert into temp SELECT * FROM Orders1 UNION
scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件
ing类型定长数据,格式为:属性名1:长度,属性名2:长度。 Cols 定义dli表字段和ct表字段之间的对应关系;其中,“:”前放dli表字段,冒号后放ct表信息,用“.”分隔ct表的列族和列名。 例如:“dli表字段1:ct表.ct表字段1, dli表字段2:ct表.ct表字段2
创建SQL作业模板 创建模板的操作入口有两个,分别在“作业模板”和“SQL编辑器”页面。 在“作业模板”页面创建模板。 在管理控制台左侧,单击“作业模板”>“SQL模板”。 在“SQL模板”页面,单击右上角“创建模板”。 输入模板名称、语句和描述信息,详细参数介绍请参见表1。 图1 创建模板 表1
在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。 选择“流水和明细账单 > 明细账单”,在筛选条件中选择“资源ID”,并输入1.e中获取的资源ID,单击图标即可搜索该资源的账单。 这里设置的统计维度为“按资源名称/ID”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述: 以资源的到期日计算第一次自动续费日期和计费周期。 您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前7日凌晨3
常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN 若A或B为TRUE,则返回TRUE,且支持三值逻辑。 A AND B BOOLEAN 若A和B为TRUE,则返回TRUE,且支持三值逻辑。
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
库管理系统如何执行一个特定的SQL查询。执行计划详细列出了执行查询所需的各个步骤,例如表扫描、索引查找、连接操作(如内连接、外连接)、排序和聚合等。执行计划可以帮助分析查询的性能,识别可能的性能瓶颈,通过了解查询的执行逻辑,并根据这些信息调整查询或数据库结构,以提高SQL查询效率。
为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求