检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据管理流程 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。
lasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。
的情况，建议您在业务低峰期再次重试，或选择自建队列运行业务。 脚本调试无误后，单击“保存”保存该脚本，脚本名称为“top_like_product”。单击“提交”，提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_lik
发布API 本文将为您介绍如何发布数据服务中的API。 操作场景 为了安全起见，在数据服务中生成的API以及注册的API，都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群，系统会提示“当前操作正在执行中，请稍后重试”。
如何查看审计日志 概述 云审计服务（Cloud Trace Service，CTS）可以记录DataArts Studio相关的操作事件，用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后，系统开始记录DataArts Studio的相关操作，云审计服务的管理控制台保存最近7天的操作记录。
forceJobSuccess 新建脚本 script addScript/createScript(api) 执行脚本 script executeScript 修改脚本 script saveScript/editScript(api) 导出脚本 script exportScripts 导入脚本 script
数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。
默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 SQL或脚本 是 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建
说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明： 若
作业A（分钟调度，开始时间10:00，周期时间20分钟） 10:00 执行 检查 (09:40, 10:00] 区间，有作业B实例运行，待作业B执行完成后，执行作业A 10:10 执行 - 10:20 执行 检查 (10:00, 10:20] 区间，有作业B实例运行，待作业B执行完成后，执行作业A
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S
alarm_type > 0; Flink SQL作业开发完成后，保存并启动作业。 使用DLI SQL脚本开发构建告警报表脚本 我们需要通过SQL脚本在DLI中新建OBS表来存放数据表，然后再构建一个SQL脚本来统计告警信息。 在DataArts Studio管理中心模块创建一个到DLI的连接，数据连接名称为“dli”。
问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作
区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，
数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实，数据服务打通数据应用和数据消费的物理通道。 数据安全在数据开发过程中完成数据安全的IT实现，以达成数据应用过程中安全管理规范的要求。 以上工作的有效开展，离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。
Studio实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与CDM集
脱敏等手段，提升数据安全能力。 值得注意的是，数据服务是通过将数据逻辑封装成统一标准的Restful 风格API从而实现数据开放，适用于小批量数据的快速响应交互场景。如果为大量数据开放的场景，更适于通过数据共享交换或其他方案实现，这种情况下，建议您通过数据安全进行权限管控、敏感数
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本开发导航栏，选择，展开DWS数据连接，选择需配置的数据库，展开目录层级至“schemas”，右键单击“schemas”，选择“新建模式”。
String 节点类型： Hive SQL：执行Hive SQL脚本 Spark SQL：执行Spark SQL脚本 DWS SQL： 执行DWS SQL脚本 DLI SQL： 执行DLI SQL脚本 Shell：执行Shell SQL脚本 CDM Job：执行CDM作业 DISTransferTask：创建DIS转储任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
