检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置
中存在的MOR和COW两种模型中,MOR表的流式读写性能相对较好,因此在流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下: 对比维度 MOR表 COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖,表模型采用MOR表。 实时入湖一
使用DLI分析车联网场景驾驶行为数据 应用场景 在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据,DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 在我的凭证下,您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。
增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。 优势 高效的Spark编程模型:使用DLI直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。 按需
架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。产品内核及架构深度优化,综合性能是传统MapReduce模型的百倍以上,SLA保障99.95%可用性。 图1 DLI Serverless架构 与传统自建Hadoop集群相比,Serverless架构的DLI还具有以下优势:
支持上传的程序包类型: JAR:用户jar文件。 PyFile:用户Python文件。 File:用户文件。 ModelFile:用户AI模型文件。 程序包管理页面 表2 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组,则显示“--”。 名称 程序包名称。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
kind:资源包类型,当前支持的包类型分别为: jar:用户jar文件 pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题: DLI Hudi开发规范
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过增强型跨源连接功能将Flink作业的输出数据写入到OpenTSDB中。 前提条件
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块,提供在线的开发和调试能力,用于编写和调测模型训练代码。完成DLI对接Notebook实例后,您可以基于Notebook提供的Web交互的开发环境同时完成代码的编写与作业的开发,使用N
操作(读取、插入、修改、删除) Doris 中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 父主题: Doris
source 是 STRING 待搜索的字符串,其他类型会返回报错。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。pattern为空串或其他类型时返回报错。 start_position 否 BIGINT BIGINT类型常量,必须大于0。其他类型或
参数类型 说明 source 是 STRING 待拆分的字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。 groupid 否 BIGINT BIGINT类型常量,必须大于等于0。 返回值说明 返回STRING类型。 如果pattern为空串或pattern中没有分组,返回报错。
参数类型 说明 source 是 STRING 待搜索的字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。 start_position 否 BIGINT 起始位置,必须大于0。不指定时默认为1,表示从source的第一个字符开始匹配。 occurrence
是否必选 参数类型 说明 source 是 STRING 源字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。pattern为空串时返回报错。 start_position 否 BIGINT BIGINT类型常量。搜索的开始位置。不指定时默认值为1。
参数类型 说明 source 是 STRING 待替换的字符 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。更多正则表达式编写规范,请参见正则表达式规范。pattern为空串时返回报错。 replace_string 是 STRING 将匹配pattern的字符串替换后的字符串。