检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试通过后，单击“确定”，创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Python脚本，脚本名称为“python_test”。 图2 创建Python脚本 选择Python版本（以Python3为例），并选择主机连接，根据实际需要输入参数。 配置的参数是指执行Python脚本时，向
在编辑器上方，配置执行Python脚本的Python版本和主机连接。 表1 Python脚本属性 参数 说明 Python版本 选择Python版本。 Python2：Python版本为Python2 Python3：Python版本为Python3 主机连接 选择执行Python脚本的主机。
报错信息 原因分析 DataArts Studio默认用的python2的解释器，python2默认的编码格式是ASCII编码，因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器，在主机上做一个软连接，如下图所示。 图2 主机上做软连接
用户可以参考表1和表2配置Python节点的参数。 表1 属性参数 参数 是否必选 说明 Python语句或脚本 是 可以选择Python语句或Python脚本。 Python语句 单击“Python语句”参数下的文本框，在“Python语句”页面输入需要执行的Python语句，选择Python脚本。
使用python调用执行脚本的api报错：The request parameter invalid，如何处理？ 问题描述 使用python调用执行脚本的api报错：The request parameter invalid。 调用执行脚本接口。 查看日志： 报错：Content
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
DataArts Studio支持自定义的Python脚本吗？ 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题： 数据开发
Secret等信息，具体参见认证前准备。 获取并安装Python安装包（可使用2.7.9+或3.X），如果未安装，请至Python官方下载页面下载。 Python安装完成后，在命令行中使用pip安装“requests”库。 pip install requests 如果pip安装
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
ngji/python/ 创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明：
SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL脚本。脚本每执行一次，生成一个脚本实例。执行脚本接口是一个异步命令，需要通过查询脚本实例执行结果获取执行状态和结果。
执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发
连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
执行如下命令，查询用户的principal。 klist -kt 客户端安装目录/impala/user.keytab 图5 查看principal Python3代码样例参考 Python2和python3导入包的版本（krbcontext）有差异。 ## *****************************
DWS SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python ETL Job OBS Manager 手动配置血缘时，在节点的“血缘关系”页签，配置血缘的输入和输出表。输入和输出表的所属数据源支
新建码表 码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时，Agent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS主机会将
调用创建资源的API报错“资源名不合法”是什么原因？ 问题描述 调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1-32个字符。 父主题： 数据开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
