检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以参考表1和表2配置Python节点的参数。 表1 属性参数 参数 是否必选 说明 Python语句或脚本 是 可以选择Python语句或Python脚本。 Python语句 单击“Python语句”参数下的文本框，在“Python语句”页面输入需要执行的Python语句，选择Python脚本。
Secret等信息，具体参见认证前准备。 获取并安装Python安装包（可使用2.7.9+或3.X），如果未安装，请至Python官方下载页面下载。 Python安装完成后，在命令行中使用pip安装“requests”库。 pip install requests 如果pip安装
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
Python版本 选择Python版本。 Python2：Python版本为Python2 Python3：Python版本为Python3 主机连接 选择执行Python脚本的主机。 单击右侧的“输入参数”，可以输入执行Python脚本的参数和交互式参数。 表2 Python脚本参数
py 在作业算子MRS Spark Python中引用Python脚本： 在运行程序参数中配置参数--py-files和参数值hdfs:///tmp/pyspark/hello.py。 图2 算子MRS Spark Python中引用Python脚本 该示例是将脚本上传到HDFS路径，上传到OBS路径也适用。
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
绑定Agent：已开通批量数据迁移增量包中开通的CDM集群。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Python脚本，脚本名称为“python_test”。
DataArts Studio支持自定义的Python脚本吗？ 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题： 数据开发
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
不同的系统数据类型可能存在差异，系统内部会做类型转换。如果未找到所需要的数据类型，您可以参考字段类型添加数据类型。 数据长度 设置数据长度： 可以为空。数据长度为空时，对数据长度不做限制。 可以设置为具体的数值。输入1~10000之间的数值。 可以设置为一个范围。输入数据范围的临界
执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
使用python调用执行脚本的api报错：The request parameter invalid，如何处理？ 问题描述 使用python调用执行脚本的api报错：The request parameter invalid。 调用执行脚本接口。 查看日志： 报错：Content
数据治理框架 数据治理框架制定如下： 图1 数据治理框架 父主题： 数据治理框架
元数据简介 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数
报错信息 原因分析 DataArts Studio默认用的python2的解释器，python2默认的编码格式是ASCII编码，因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器，在主机上做一个软连接，如下图所示。 图2 主机上做软连接
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
数据服务SDK支持的语言？ 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数据服务中数据API的调用，帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有：C#、Py
本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表，单击任意数据表，进入数据表详情页面。 在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”页签，可申请数据表权限或给其他用户授权。
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
