检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
for_test') except DliException as e: print(e) return print(db) “default”为内置数据库，不能创建名为“default”的数据库。 完整样例代码和依赖包说明请参考：Python
为空的消息将会被视作为 DELETE 消息。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与kafka集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
group_name) except DliException as e: print(e) return 请求参数说明如下，详细参数使用可以参考Python SDK概述下载样例代码。 kind：资源包类型，当前支持的包类型分别为： jar：用户jar文件
/** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /**
context) {} /** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /** * 可选
batch_job_info) except DliException as e: print(e) return print(batch_job.job_id) while True: time.sleep(3)
负，则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
源。 弹性资源池扩缩容 当弹性资源池中添加队列、删除队列时，会触发弹性资源扩缩容。 而弹性资源池缩容可能会触发缩容含有shuffle数据的节点，会导致Spark Task重算，引起Spark作业和SQL作业内部自动重试，当作业重试超过限制会导致作业执行失败，需用户重新执行作业。 Spark2
作业使用spark组件的版本号，在“feature”为“basic”或“ai”时填写，若不填写，则使用默认的spark组件版本号2.3.2。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数
context) {} /** * 自定义逻辑 * @param s * @return */ public int eval(String s) { return s.hashCode() * factor; } /** * 可选
位评测系统的整体商业计算综合能力，对厂商的要求更高，同时也具有普遍的商业实用意义，目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H 基准测试是由 TPC-D（由 TPC 组织于 1994 年制定的标准，用于决策支持系统方面的测
全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
position]五部分组成。 col_name：新增列名，必须指定。 给嵌套列添加新的子列需要指定子列的全名称： 添加新列col1到STURCT类型嵌套列users struct<name: string, age: int>，新列名称需要指定为users.col1。 添加新列
<key1>=<val1>;<key2>=<val2>… endpoint指DLI的域名。projectId指项目ID。 在地区和终端节点获取DLI对应的Endpoint，从华为云“用户名”>“我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=val
过Flink作业列表可以了解Flink作业的基本信息。 表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID，由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。包括： Flink SQL：Flink SQL作业 Flink
数据最终在OBS中的存储目录结构为：obs://obs-sink/car_infos/day=xx/part-x-x。 数据生成后，可通过如下SQL语句建立OBS分区表，用于后续批处理： 创建OBS分区表。 1 2 3 4 5 6 7 8 create table car_infos ( carId
Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.ru
则停止存储数据，以batch.size.entries为准，提交该批次的数据。 es.nodes.wan.only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es
够直接利用这些工具的强大功能。 PowerBI、Fine BI、SuperSet、Tableau和Beeline，它们可以通过Kyuubi建立与DLI的连接。Kyuubi是一个分布式SQL查询引擎，提供了标准的SQL接口，使得BI工具能够通过Kyuubi与DLI进行交互，执行数据查询和分析。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
