检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一分钟的运行日志。 如果作业配置了保存作业日志的OBS桶，更多历史日志信息可以到保存日志的OBS桶中下载查看。 在OBS中，上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。 如果作业没有运行，则无法查看TaskManager信息。 查看Flink作业日志列表
custom:使用定制策略 connector.failure-handler-class 否 使用失败时的定制策略时所使用的自定义处理方式 connector.flush-on-checkpoint 否 checkpoint时是否会等待所有阻塞请求完成。 默认为true，表示
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
12:02:02','60.00','60.00','2021-03-25 12:03:00','0002','Bob','330110'); 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作
传参不能为JSON格式。 对应批处理作业提交提供两个接口： 异步 asyncSubmit，提交后直接返回，不等待 同步 submit，提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： 1 2 3 4 5 6
parquet_use_column_names=true; 对于orc或parquet格式的分区表或事务表，drop column后无法通过设置Session属性的方式来确保查询成功。 将表中列名为column_name的列重命名为new_column_name。 ALTER TABLE name RENAME
select get_json_object('{"b":"1","b":"2"}', '$.b'); 输出结果按照JSON字符串的原始排序方式输出。 返回{"b":"3","a":"4"}。 select get_json_object('{"b":"3","a":"4"}', '$');
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
false：关闭DLI数据多版本功能。 comment 表描述信息。 orc.compress orc存储格式表的一个属性，用来指定orc存储的压缩方式。支持取值为： ZLIB SNAPPY NONE auto.purge 当设置为true时，删除或者覆盖的数据会不经过回收站，直接被删除。
Spark3.3.x：Spark不会自动转换为可空的字段。 如果希望在Spark 3.3.x版本中恢复到Spark 2.4.x版本的执行方式，您可以通过将 spark.sql.legacy.respectNullabilityInTextDatasetConversion设置为true来实现。
SQL队列：Spark SQL队列：8CUs；HetuEngine SQL队列：16CUs 弹性资源池计费模式 弹性资源池支持按需和包年包月的购买方式。 不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
期，详细介绍请参见流水与明细账单。 图3 查询数据存储的资源账单 查看数据扫描量的资源账单 DLI的default队列采用数据扫描量的计费方式。扫描量计费=单价*扫描量数据（GB）。怎样查看DLI的数据扫描量？ 您可以在费用中心查询DLI数据扫描量的资源账单。 在控制台顶部菜单栏中选择“费用与成本
缺点是随着数据的增长，文件依然会持续膨胀； 方法二：大粒度分区（推荐），如果使用分区表则需要根据数据增长情况来计算，例如使用年分区，这种方式相对麻烦些但是多年后表无需重新导入。 方法三：数据老化，按照业务逻辑分析大的维度表是否可以通过数据老化清理无效的维度数据从而降低数据规模。
); insert into printSink select * from kafkaSource; 向kafka中以avro的序列化方式插入如下数据： {"order_id":"202103241000000001","order_channel":"webShop","o
DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 DLI计算资源模式 DLI提供了三种计算资源的管理模式，每一种模式都有独特的优势和适用场景。 图1 DLI计算资源模式
下载认证凭据”。 根据用户凭据生成相应的truststore.jks文件，并将用户凭据以及truststore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。 如果运行作业提示“Message stream modified (41)”，可能与JDK的版本有关
获取Spark作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36" "2.75" 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作
分别分组，并像简单的 group by 子句一样为每个组进行聚合。 GROUPING SETS 的每个子列表可以是：空的，多列或表达式，它们的解释方式和直接使用 GROUP BY 子句是一样的。一个空的 Grouping Sets 表示所有行都聚合在一个分组下，即使没有数据，也会输出结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
