检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
用户可以参考表1和表2配置Python节点的参数。 表1 属性参数 参数 是否必选 说明 Python语句或脚本 是 可以选择Python语句或Python脚本。 Python语句 单击“Python语句”参数下的文本框，在“Python语句”页面输入需要执行的Python语句，选择Python脚本。
添加数据示例 本章节对添加数据AK/SK方式使用SDK进行示例说明。 添加数据示例代码只需将AK/SK信息替换为实际AK/SK，代码中可以使用初始化AddDataParam类中的image_url、custom_num_tags、custom_tags、desc、item_id、
Secret等信息，具体参见认证前准备。 获取并安装Python安装包（可使用2.7.9+或3.X），如果未安装，请至Python官方下载页面下载。 Python安装完成后，在命令行中使用pip安装“requests”库。 pip install requests 如果pip安装
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
修改对象元数据(Python SDK) 功能说明 元数据（Metadata）为描述对象属性的信息，是一组名称值对，用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别：系统控制和用户控制。如Last-Modified日期等数据由系统控制，不可修改；
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数： streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例：value参数值设定与key对应
获取对象元数据(Python SDK) 功能说明 元数据（Metadata）为描述对象属性的信息，是一组名称值对，用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别：系统控制和用户控制。 对指定桶中的对象发送HEAD请求，获取对象的元数据信息。 接口约束
Studio。 安装Python依赖库 DLI Python SDK依赖第三方库包括：urllib3 1.15以上版本，six 1.10以上版本，certifi，python-dateutil。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。
获取桶元数据(Python SDK) 功能介绍 调用获取桶元数据接口，可获取指定桶的相关信息，包括指定桶的存储类型、区域位置、跨域资源共享（CORS）规则、冗余策略等信息。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限，才能获取桶元数据。建议使用IAM或桶策略进行授权，如果
Python API接口 数据处理是通过执行python脚本处理OBS数据。Python脚本执行平台使用的是华为公有云ModelArts服务的训练作业执行引擎。 用户可以在脚本中直接使用MoXing中提供的一套文件对象API，用来读写本地文件或OBS文件系统。 在python脚本
Studio。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:
Python版本 选择Python版本。 Python2：Python版本为Python2 Python3：Python版本为Python3 主机连接 选择执行Python脚本的主机。 单击右侧的“输入参数”，可以输入执行Python脚本的参数和交互式参数。 表2 Python脚本参数
添加导入 当您使用代码补全（ Ctrl+I / Ctrl+Space / Ctrl+Shift+Space ）插入引用尚未导入的元素时，CodeArts IDE会自动插入缺少的导入语句。CodeArts IDE还会突出显示当前缺少导入语句的符号，并提供源操作来自动插入导入。 在代
py 在作业算子MRS Spark Python中引用Python脚本： 在运行程序参数中配置参数--py-files和参数值hdfs:///tmp/pyspark/hello.py。 图2 算子MRS Spark Python中引用Python脚本 该示例是将脚本上传到HDFS路径，上传到OBS路径也适用。
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
LI客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python
数据准备 数据集中的数据导入特征工程后，可能存在空值、冗余、数据不足等情况，或者用户需要将多次导入的数据集实例进行数据联合。以上情况，都可以在数据准备中进行操作。当前数据准备包含的功能有：数据修复、数据过滤、数据联合、数据连接、数据去噪。 数据修复 用户可以在数据修复中对单列进行
n或者python3，查看Python是否已经安装。python命令只能查询Python 2.x版本，python3命令只能查询Python 3.x版本，如果无法确认Python版本，请分别输入两个命令查看结果。 以Python 3.x为例，得到如下回显，说明Python已安装。
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python SDK概述。 AK/SK认证方式样例代码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
