检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。 已开通CDM增量包，并创建CDM集群。 CDM集群创建时，需要注意：虚拟私有云、子网、
密钥的更多信息，请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。
密钥的更多信息，请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。
之间的网络，则可以访问其他项目或企业项目的MRS集群。 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务，自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明： 当前DataArts Studio不支持对
密钥的更多信息，请参见什么是默认密钥。 绑定Agent 是 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。
对数据资产，可以从业务角度定义分类或标签。 数据服务：提升访问查询检索效率 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务，支撑业务主题/画像/指标的访问、查询和检索，提升数据消费体验和效率，最终实现数据资产的变现。数据服务为您提供快速将数据表生
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
在管理中心创建MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 新建DWS脱敏策略前，已完成如下操作： 已在管理中心创建数据仓库服务（DWS）类型的数据连接，请参考创建DataArts
DLI连接参数说明 连接数据湖探索（DLI）服务时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予
通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业，且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台，在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图，对导入的图数据进行可视化分析。 本例以图探
在DataArts Studio数据目录模块中，您可以查看数据地图。 数据地图 查看业务资产和技术资产 步骤9：服务退订 进行服务退订，避免持续产生费用。 服务退订 服务退订（可选） 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
Hive配置的白名单，需要配置以下配置项参数，单击保存，滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面，在基础配置里面配置该参数。具体操作如下： 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive
认情况下无需额外操作。如果默认配置被修改，也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 > 服务 > Ranger > 配置 > 基本配置”，在搜索框中搜索“ranger.usersync.config
Studio的会话超时时间是多少，是否支持修改？ 会话超时时间指的是如果用户超过该时长未操作界面，会话将会失效，需要重新登录。 会话超时策略可以在IAM服务进行设置，如图所示。 会话超时策略默认开启，不能关闭，管理员可以设置会话超时的时长，会话超时时长默认为1个小时，可以在15分钟~24小时之
Studio服务CDM组件使用： 检查用户是否添加DAYU Administrator或DAYU User角色，参考DataArts Studio权限管理。 是否有对应工作空间的权限，如开发者、访客等，参考DataArts Studio权限列表。 如果是独立CDM服务使用： 检查是否开启IAM细粒度鉴权。
ject id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件： DAYU Administrator或Tenant
选择重名策略。当“转储服务类型”配置的转储任务名称出现重名时，DIS Dump将根据重名策略进行下一步操作。 忽略：不添加转储任务，并退出DIS Dump，DIS Dump的状态为“成功”。 覆盖：继续添加转储任务，覆盖已存在的重名转储任务。 转储服务类型 是 选择转储服务类型，目前支持转储至：
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。
DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
选择并导出脚本 在弹出的“导出脚本”界面，选择需要导出的脚本的状态，单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务，如无OBS服务，可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容，并自动提交一个新版本。 参考访问DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
