检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
选择并导出脚本 在弹出的“导出脚本”界面，选择需要导出的脚本的状态，单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务，如无OBS服务，可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容，并自动提交一个新版本。 参考访问DataArts
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
DataArts Studio和沃土是什么关系？ 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础，通过优化整合新ICT技术，融合数据，使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块，帮助接入沃土数字平台的企业更好的管理使用数据。
如果设置为保持不变，则各节点保持原来的节点执行最长时间。 作业委托 设置所选作业的委托，配置了作业委托后，作业执行过程中，以委托的身份与其他服务交互。 如果设置为保持不变，则各作业保持原来的委托配置。 失败重试 设置所选作业的所有节点执行失败后，是否重新执行节点。 如果设置为保持不变，则各节点保持原来的失败重试策略。
DataArts Studio实例中的CDM没有计费是什么原因？ 购买非免费版的DataArts Studio实例时，系统会赠送一个4核CPU、8G内存规格CDM集群，不会产生费用。 注意，DataArts Studio实例赠送的CDM集群，推荐作为DataArts Studio
管理操作，直接进入脚本开发或作业开发。 数据管理的使用流程如下： 图1 数据管理流程 创建数据连接，连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务，新建数据库。具体请参见新建数据库。 如果是DWS连接，则需要新建数据库模式；否则直接新建数据表。具体请参见（可选）新建数据库模式。
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作，才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示，具体操作请参考后续章节。
csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
业务元数据，关联业务和技术元数据、全链路的血缘管理和应用。 数据地图 数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便快捷的数据搜索服务，拥有功能强大的血缘信息及影响分析。 在数据地图中，可通过关键词搜索数据资产，支持模糊搜索，快速检索，定位数据。
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建，具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后，用户上传对象时，数据会加密成密文存储在OBS。用户从OBS下载加密对象时，存储的密文会先在OBS服务端解密为明文，再提供给用户。 如果选择使用KMS加密，则无法使用MD5校验一致性。
如何解决HANA集群只有部分节点和CDM集群网络互通？ 问题描述 HANA集群只有部分节点和CDM集群网络互通，怎么办？ 解决方案 如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置： 关闭HANA集群的Statement Rout
使用''包围表达式 方式二：源字段中新增自定义字段，在样值中填写时间宏变量，重新进行字段映射处理。 图3 源字段新增自定义字段 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建，具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后，用户上传对象时，数据会加密成密文存储在OBS。用户从OBS下载加密对象时，存储的密文会先在OBS服务端解密为明文，再提供给用户。 如果选择使用KMS加密，则无法使用MD5校验一致性。
源端为Redis JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
使用''包围表达式 方式二：源字段中新增自定义字段，在样值中填写时间宏变量，重新进行字段映射处理。 图3 源字段新增自定义字段 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
查看用户的权限（成员权限视图） 数据安全支持权限清单查看，以当前实例下某工作空间的用户或用户组，查看其通过角色（包含空间权限集、权限集和角色）或权限申请和审批流程所获取的权限。 约束与限制 查看用户权限时，不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。
管理作业标签 作业标签用于给相同或用途类似的作业打上标签，便于管理作业，并根据标签查询作业。参考本节操作，您可管理作业标签，执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
