检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
*表类型 DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。 DLI_VIEW:该类型只支持导入,不支持在控制台页面创建。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable
前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。
选择OBS存储路径时,若仅选择至桶名层级,则备份对象自动存储在以“备份日期”命名的文件夹内。环境变量,资源,脚本和作业分别存储在1_env,2_resources,3_scripts和4_jobs文件夹内。
DataArts Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统
审计与日志 云审计服务(Cloud Trace Service,以下简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(
使用MRS HBase可实现海量数据存储,并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
在“空间信息”中,单击“作业日志OBS路径”后的“请选择”按钮,选择日志存储路径,可选择某个具体的目录。 图1 修改日志存储路径 修改完成后,单击“确定”,即完成作业日志存储路径的修改。
图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理:如果存储的时间数据不带时区信息,在Kibana可视化的时候,Kibana会认为该时间为GMT标准时间。
什么是对象存储迁移服务(OMS)?
创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts Studio通过加密算法对用户个人敏感数据加密后进行存储。
已开通对象存储服务,并在OBS中创建文件夹。 配置通知 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
审核中心 开发环境生成的规范建模、数据处理类任务提交后,都会存储在审核中心页面,然后在审核中心页面进行任务发布,这些任务才会在生产环境上线。 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。
授权用户使用DataArts Studio 授权用户使用DataArts Studio 管理中心 根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。
图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI SQL脚本时,所选择的队列会在缓存中进行存储。新建DLI SQL脚本的时候,就会自动选择该队列。
审核中心 开发环境生成的指标数据处理类任务提交审核后,都会存储在审核中心页面,然后在审核中心页面进行任务审核发布,这些任务才会生效。在审核中心,可以对提交审核的对象进行统一管理。
- 存储格式 “自动创建”设置为“不自动创建”时,无该此参数。 选择存储格式。 行式存储格式:TEXTFILE。 列式存储格式:ORC、RCFILE、PARQUET。 TEXTFILE使用明文存储,当数据存在特殊字符的场景下可能会导致数据写入错乱,请谨慎使用。