检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
明细账单”，在筛选条件中选择“资源ID”，并输入1.e中获取的资源ID，单击图标即可搜索该资源的账单。 这里设置的统计维度为“按资源名称/ID”，统计周期为“按账期”，您也可以设置其他统计维度和周期，详细介绍请参见流水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储
请勿将该OBS桶用作其它用途，避免出现作业结果混乱等问题。 OBS桶需要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 操作步骤
管理队列 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题： 创建弹性资源池和队列
大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09，则时间段范围为：[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源
该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。 true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql
该场景作业需要运行在DLI的独享队列上，因此要与DCS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 示例 Redis表用于与输入流连接。
jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。 端口请注意使用KafKa服务配置中设置的ssl.port端口 security.protocol请设置为SSL。 ssl.mode.enable请设置为true。 CREATE TABLE ordersSource ( order_id
际所需设置相应安全组规则。 若使用MRS HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 用户通过VPC对等访问DCS
默认值：false nullValue 否 设置代表null的字符，例如，nullValue="nl"表示设置nl代表null。 comment 否 设置代表注释开头的字符，例如，comment='#'表示以#开头的行为注释。 compression 否 设置数据的压缩格式。目前支持gzip
jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。 端口请注意使用KafKa服务配置中设置的ssl.port端口 security.protocol请设置为SSL。 ssl.mode.enable请设置为true。 CREATE TABLE ordersSource ( order_id
查看队列对应的VPC的路由表信息。 图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护，检查对应子网是否配置了ACL，是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段，同时设置的网络ACL规则包含拒绝该地址访问，那么此安全组规则不生效。
该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 用户通过VPC对等访问DCS
该场景作业需要运行在DLI的独享队列上，因此要与DCS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 示例 Redis表用于与输入流连接。
默认值：false nullValue 否 设置代表null的字符，例如，nullValue="nl"表示设置nl代表null。 comment 否 设置代表注释开头的字符，例如，comment='#'表示以#开头的行为注释。 compression 否 设置数据的压缩格式。目前支持gzip
Executor CPU核数 用于设置Spark作业申请的每个Executor的CPU核数，决定每个Executor并行执行Task的能力。 Executor个数 用于设置Spark作业申请的Executor的数量。 driver CPU核数 用于设置driver CPU核数。 driver内存
1、 file_prefix.2，若没有设置，默认文件前缀为temp。 rolling_size 否 单个文件最大允许大小。 说明： rolling_size和rolling_interval必须至少配一样或者都配置。 当文件大小超过设置size后，会生成新文件。 支持的单位包括
1、 file_prefix.2，若没有设置，默认文件前缀为temp。 rolling_size 否 单个文件最大允许大小。 说明： rolling_size和rolling_interval必须至少配一样或者都配置。 当文件大小超过设置size后，会生成新文件。 支持的单位包括
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
