检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示”和“拦截”动作的Scan files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本,您可以在队列资源的资源列表页面,通过查看队列基本信息中的“默认版本”获取引擎的版本信息。 图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时,如果出现作业运行超时异常错误,通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。
在边缘快速实现对流数据实时、快速、准确地分析处理,增加数据处理计算的速度和效率。同时将数据在边缘预处理,可以有效减少无效的数据上云,减少资源消耗,提升分析效率。边缘作业依赖于智能边缘平台(Intelligent EdgeFabric, IEF),IEF通过纳管用户的边缘节点,提
在边缘快速实现对流数据实时、快速、准确地分析处理,增加数据处理计算的速度和效率。同时将数据在边缘预处理,可以有效减少无效的数据上云,减少资源消耗,提升分析效率。边缘作业依赖于智能边缘平台(Intelligent EdgeFabric, IEF),IEF通过纳管用户的边缘节点,提
各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在数据加密服务DEW中,如需允许DLI在执行作业时访问DEW数据,需要提供I
redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(其中也包含了port信息),请参考图1。 port 访问端口。
使用DLI的过程中需要与其他云服务协同工作,因此需要您将部分服务的操作权限委托给DLI服务,确保DLI具备基本使用的权限,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 仍在使用DLI上一代委托dli_admin_agency,请参考本节操作更新DLI委托。 为了解决在满足实际业务使用的同时,避
本例以按需计费的专属资源队列为例。 队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。) 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 登录DLI管理控制台。 在“购买队列”页面,进行资源选型和参数配置。 购买队列的详细参数请参考创建队列。
若刚刚对队列进行网段修改,立即进行SQL作业的提交。需要等待5~10分钟,待后台重建集群后,即可提交功。 按需队列,队列已空闲状态(超过1个小时),则后台资源已经释放。此时进行SQL作业的提交。需要等待5~10分钟,待后台重新拉起集群后,即可提交成功。 父主题: SQL作业开发类
候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth
***/ public class AvgFilterUDAFDemo extends UDAF { /** * 定义静态内部类AvgFilter */ public static class PartialResult {
Zookeeper中的根目录,默认是/hbase connector.write.buffer-flush.max-size 否 每次插入的数据的最大的缓存大小,默认为2mb ,仅支持mb connector.write.buffer-flush.max-rows 否 每次刷新数据的最大条数 connector
Zookeeper中的根目录,默认是/hbase connector.write.buffer-flush.max-size 否 每次插入的数据的最大的缓存大小,默认为2mb ,仅支持mb connector.write.buffer-flush.max-rows 否 每次刷新数据的最大条数 connector
在权限管理页面,权限设置选择“授权”。 输入项目ID。 单击“确定”,授予该项目弹性资源池的操作权限。 回收权限: 在权限管理页面,权限设置选择“回收”。 输入项目ID。 单击“确定”,回收指定项目的弹性资源池操作权。 父主题: 管理增强型跨源连接
CloudTable HBase输入流 HBase输出流 OpenTSDB输出流 - 云搜索服务 CSS - Elasticsearch输出流 - 分布式缓存服务 DCS - DCS输出流 自定义作业交互 文档数据库服务 DDS - DDS输出流 - 数据接入服务 DIS DIS输入流 DIS输出流
cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time
cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time
cache.max-rows 否 无 Integer 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time