检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
Windows 10 建议分辨率为1920*1080,2560*1440。 使用限制 使用DataArts Studio前,您需要认真阅读并了解以下使用限制。 表2 DataArts Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),例如直接写为如下内容:
驱动管理”,进入驱动管理页面上传驱动。 图1 上传驱动 方式一:单击对应驱动名称右侧操作列的“上传”,选择本地已下载的驱动。 方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 (可选)在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。
导入包含API信息的EXCEL文件 功能介绍 导入包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/import/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
导出包含API信息的EXCEL文件 功能介绍 导出包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
字符、“_”、“-”,且长度为1~32个字符。 类型 是 选择资源的文件类型: jar:用户jar文件。 pyFile:用户Python文件。 file:用户文件。 archive:用户AI模型文件。支持的文件后缀名为:zip、tgz、tar.gz、tar、jar。 资源位置 是
FTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh
表4 响应Body参数 参数 参数类型 描述 - File 导出包含API的EXCEL文件,会导出多个EXCEL文件,每个EXCEL文件最多200个API,多个EXCEL文件会打包到ZIP文件返回。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code
FTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh
分片2个文件。 SIZE:按文件大小分割。注意这里不会将文件做切分来实现均衡。例如:有10个文件,9个10M,1个200M,在并发任务数中指定“throttlingConfig.numExtractors”(抽取并发数)为“2”,则会分两个分片,一个处理9个10M的文件,一个处理1个200M的文件。
描述 为更好地识别嵌入水印任务,此处加以描述信息。长度不能超过1024个字符。 源文件 得到泄露的数据文件后,利用其生成CSV格式文件,注意文件大小不超过20MB。 字段分隔符 根据上传的CSV文件,下拉选择分隔符,支持四种“,”、“Tab”、“|”、“;”。默认选择“,”。 单击“运行”,完成创建数据水印溯源任务。
系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 当导入的维度关联的标准编码不存在或者未发布时,系统会自动弹出报错拦截及详细的编码名称,请修改后再重新上传。 导出维度 可通过导出的方式将维度导出到本地。
获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 从OBS导入的作业文件,最大支持10Mb;
通过节点可以执行的操作: 移动文件:将源文件或目录,移动到新目录中。 复制文件:复制源文件或目录。 重命名文件:重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时,源文件或目录:obs://test/a/b/c/,目的目录:obs://test/a/b/d/;重命名文件时,源文件或目录:obs://test/a/b/hello
状态码:403 表9 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息。 请求示例 上传主题excel,通过form表单提交,file为具体excel文件。 POST https://{endpoint}/v2/{project_id}/design/catalogs/action
状态码:403 表9 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息。 请求示例 上传模型excel,通过form表单提交,file为具体文件。 POST https://{endpoint}/v2/{project_id}/design/models/action
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果