检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 父主题: 数据开发
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。
只能包含英文字母、数字、下划线,且以英文字母开头。 表描述 码表的描述信息。支持的长度0~600个字符。 *字段名称 字段名称。只能包含中文、英文字母、数字、左右括号、空格、中划线和下划线,且以中文或英文字母开头。 *字段编码 字段编码。
表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。
说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本 MRS集群名 是 选择支持spark python的mrs集群。
脚本示例如下,其中str1是参数名称,只支持英文字母、数字、“-”、“_”、“<”和“>”,最大长度为16字符,且参数名称不允许重名。
角色名称 自定义角色名称,用于标识该关系,只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文或英文字母开头。 在“关联质量规则”中填入关联的表名称和属性名称(ENG)。
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。
丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 解决方案 修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题: 数据开发
MRS Hive:只能包含英文字母、数字、“_”,只能以数字和字母开头,不能全部为数字,且长度为1~128个字符。 MRS Spark:只能包含英文字母、数字、“_”,只能以数字和字母开头,不能全部为数字,且长度为1~128个字符。
表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 操作类型 是 通过节点可以执行的操作: 移动文件:将源文件或目录,移动到新目录中。
只能包含中文、英文字母、数字和下划线,且以中文或英文字母开头。输入长度不能超过10个字符。 *分层类型 选择分层类型。分层类型选择以后不支持修改。 关系建模 维度建模 数据集市 说明: 关系建模一般用于业务系统及数仓贴源层、整合层的建模。
原因是DWS的varchar类型是按字节计算长度,一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时,就会出现错误:value too long for type character varying。