检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源认证概述 什么是跨源认证？ 跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
说明： 队列名称不区分大小写，系统会自动转换为小写。 queue_type 否 String 队列的类型,。有如下类型： sql：SQL队列类型，用于运行SQL作业。 general：通用队列类型，用于运行Flink、Spark Jar作业。 说明： 如果不指定类型，则默认为“sql”。
授权时，“作用范围”需要选择“区域级项目”，然后在指定区域对应的项目中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DLI时，需要先切换至授权区域。 权限类别：根据授权精程度分为角色和策略。 角色：IAM最初提供的一种
DLI请求条件 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition 元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服
表示此授权项对应的自定义策略，可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目，不支持企业项目，表示仅能在IAM中给用户组授权并生效，如果在企业管理中授权，则该自定义策略不生效。 关于IAM项目与企业项目的区别，详情请参见：IAM与企业管理的区别。 仅在
创建跨源认证 功能介绍 该API用于创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
of Strings 传入主类的参数，即应用程序参数。 sc_type 否 String 计算资源类型，目前可接受参数A, B, C。如果不指定，则按最小类型创建。具体资源类型请参见表3。 jars 否 Array of Strings 用户已上传到DLI资源管理系统的类型为ja
ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外（假设当前策略仅包含DLI ReadOnlyAccess）的任一服务，如果提示权限不足，表示“DLI ReadOnlyAccess”已生效。 更多操作 创建子用户请参考《如何创建子用户》。
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
queue_scaling_policies 参数 是否必选 参数类型 描述 impact_start_time 是 String 生效开始时间。 impact_stop_time 是 String 生效结束时间。 priority 是 Integer 优先级。 min_cu 是 Integer 最小CU数量。
Integer 策略优先级1-100，100优先级最高。 impact_start_time 否 String 生效开始时间。 impact_stop_time 否 String 生效结束时间。 min_cu 否 Integer 最小CU数量。 max_cu 否 Integer 最大CU数量。
作业优先级的调整需要停止作业进行编辑，并提交运行才能生效。 对于Flink作业，请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 设置Flink Opensource
授权后需等待15-30分钟才可生效。 步骤2：在作业中设置委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时，需要在作业配置中添加新建的委托信息。 否则Spark3.3.1作业不指定委托时，无法使用OBS；Flink1.15作业不指定委托时，无法开启che
通过“CU设置”调整CU范围：80CUs - 96CUs。 调整队列的CU范围、弹性资源池规格变更、弹性资源池的CU设置，均在下一个整点生效。 通过增加队列调整弹性资源池的实际CUs，立即生效。 CU设置时怎样调小CU范围最大值？ 弹性资源池CU范围的最小值小于等于弹性资源池的实际CUs，如果想要调整的
当队列的最小CUs小于16CUs时，在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。了解队列属性设置。 HetuEngine类型的SQL队列最小CU不能小于96CUs。 最大CU 当前扩缩容策略支持的最大CU数。 在全天
”，可能是由于缺少C++编译器导致的报错，建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 父主题： Python SDK环境配置
部授权项。 资源类型可以参考表4中的资源类型。 操作：操作以IAM服务中已经注册的action为准。 Condition 限制条件：使策略生效的特定条件，包括条件键和运算符。 条件键表示策略语句的 Condition 元素中的键值，分为全局级条件键和服务级条件键。 全局级条件键（
配置SQL防御规则 什么是SQL防御 大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。
计算资源不足，则会减少低优先级作业的计算资源 SQL队列上运行的作业优先级默认为3。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
