检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
网络拓扑样例 操作步骤 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求: 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping
开发SQL脚本 数据开发支持对SQL脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 数据开发模块支持如下类型SQL脚本。而不同数据源的SQL语法有所差异,开发SQL语句前请预先了解各数据源的语法规则。 DLI SQL脚本:请参见SQL语法参考。
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。 连
开发一个DLI Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时
了资源队列时,此处配置的资源队列为最高优先级。 SQL脚本 是 仅“脚本类型”配置为“在线脚本”时可以配置。 选择已创建的Spark Python脚本。 脚本参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 关联的Spark Python脚本中如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS SQL基本语法。 本入门示例涉及DataArts
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts
Studio新版控制台首页已经上线,您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页
Studio新版控制台首页已经上线,您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页 父主题: 购买并配置DataArts Studio
流、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等 通过历史的结构化数据进行数据分析 使用成本 起步成本低,后期成本较高 起步成本高,后期成本较低 数据质量
Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务(MRS HBase) HBase是一个开源的、面向列(Column-Oriented)
控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回
型设计,智能化的帮助用户生成数据处理代码,数据处理全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST