检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks"); //
操作 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。 当前已有的样例模板包括如下场景： 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板，自定义模板列表参数说明如表
功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符，则默认为逗号（,）。 关于分区表的使用说明：
[, value2]*) 返回从值列表 (value1, value2, …) 创建的行。隐式行构造函数支持任意表达式作为字段，但至少需要两个字段。 显式行构造函数可以处理任意数量的字段，但目前还不能很好地支持所有类型的字段表达式。 ARRAY ‘[’ value1 [, value2
10000 orc.stripe.size 67108864
'topic' = 'TOPIC', 'properties.bootstrap.servers' = 'KafkaIP:PROT,KafkaIP:PROT,KafkaIP:PROT', 'properties.group.id' = 'GroupId', 'scan.startup
参数名 参数含义 format 表的格式，在这里是delta id 表的唯一id name 在metaserver中定义的表名 description 关于表的说明 location 表的存储路径 createdAt 建表时间戳 lastModified 最后一次修改的时间戳 partitionColumns
"select * from t1" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： SQL作业相关API
"table_name": "autotest" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： SQL作业相关API
用户名 安全集群的登录用户名。 用户密码 安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark
插入新数据，而Clustering操作在后台运行以重新格式化数据布局，从而确保并发读写者之间的快照隔离。 总体而言Clustering分为两个部分： 调度Clustering：使用可插拔的Clustering策略创建Clustering计划。 识别符合Clustering条件的文
身份认证与访问控制 身份认证 用户访问DLI的方式主要有两种，包括DLI Console界面、DLI Open API等，其本质都是通过DLI提供的REST API接口进行请求。 DLI的接口均需要通过认证鉴权才能访问，控制台发送的请求与调用API接口的请求均支持Token认证鉴权。
DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围 创建分区表时分区字段差异
name String 模板名称。 body Object 模板内容。详细信息参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板创建者。 请求示例 无 响应示例
使用Hive语法创建OBS表 功能描述 使用Hive语法创建OBS表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统，提供毫秒级别访问时延，TB/
否 String 更新后SQL模板文本。 sql_name 否 String 更新后SQL模板名称，该名称在当前工程下必须唯一。 description 否 String SQL模板的描述信息，可以为空。 group 否 String SQL模板分组信息。 响应参数 表3 响应参数说明
"1 2",ab Spark 3.3.1 "a b",,"1 2",ab 新增支持自适应Skip partial agg功能的配置 说明： Spark3.3.x版本中新增支持自适应Skip partial agg功能，即当Partial Agg效果不佳时，可以直接跳过，避免Partial
name String 模板名字。 body Object 模板内容，请参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板的创建者。 表5 body参数说明
Body： { "elastic_resource_pool_name" : "elastic_pool_dli", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" :
成功返回200。 响应参数 表2 响应参数说明 参数 是否必选 参数类型 说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
