检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限管理 创建用户并授权使用RES RES自定义策略
建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用RES服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 RES权限 默认情况下,管理员创建的IAM用户没有任何
":true } }, "data_source": [ { "table_type_id": "ITEM_META", "data_format": "csv", "data_source_url": "<数据源存储路径>"
obs-error-data 用于存放异常数据输出路径,来源于近线策略。 │ obs-nearline-data 用于存放近线任务结果数据,宽表形式。 │ obs-model-data 排序模型保存路径。 └ obs-config-data 计算引擎配置地址,用来记录计算引擎的日志。
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
管理离线作业 您可以对各离线作业进行“复制”、“编辑”、“终止”、“重新执行”、“删除”等操作。您也可以通过查看服务的详细信息判读作业训练状态和查询训练结果。 复制离线作业 用户可以通过复制组合作业再次创建新的作业进行离线计算。生成的数据和原来的作业生成的数据相互独立,复制的离线作业会生成新的线上指定的UUID。
管理属性配置 属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创
通用格式GENERAL_FORMAT 数据格式请参见推荐系统离线数据源。 data_source_url 是 String 数据源路径,最大长度1000字符。 data_format 是 String 数据格式,可选值:csv、parquet、json、orc。 data_param 否 JSON 请参见表7,数据格式是csv的时候必选,其他可选。
"flag": true } ] } ], "data_source": [ { "table_type_id": "ITEM_META", "data_format": "csv", "data_source_url": "<数据源存储路径>", "data_param": { "header":
e2696", "data_source": [{ "table_type_id": "ITEM_META", "data_format": "csv", "data_source_url": "<数据源存储路径>", "data_param": {
您可以对处于“运行中”状态的服务进行“停止”操作。 登录RES管理控制台,在左侧菜单栏中选择“在线服务”,进入服务列表。 在“在线服务”页面,单击目标服务操作列的“停止”结束作业的启动或计算。 删除服务 删除服务即清理服务产生的数据,完成资源释放。 登录RES管理控制台,在左侧菜单栏中选择“在线服务”,进入服务列表。
String 全局配置参数配置。 data_format String 数据格式,用户属性表、物品属性表,用户操作行为表必填,值可以为“csv”和“json”。 data_param JSON data_format为csv时必填,其他可选。 表4 data_param参数说明 参数名称
id}/data-sources res:data-source:add √ √ 查询数据源详情 GET /v2.0/{project_id}/workspaces/{workspace_id}/data-sources/{datasource_id} res:data-source:get
"BUILD_RANK_UNIFORM_DATA_FROM_JSON", "data_source": [ { "table_type_id": "GENERAL_FORMAT", "data_format": "json", "data_source_url":
"res:job:list" ] } ] } 父主题: 权限管理
SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS USER权限。详细请参考权限管理。 下载SDK之后,需要修改pom文件中的依赖,对SDK进行升级,最新版本可升级至1.3.12。 上传实时数据至RES 初始化DIS客户端,使用代码初始化DIS
parameter 是 String 全局配置参数配置。 data_format 否 String 数据格式,用户属性表、物品属性表、用户操作行为表必填,值可以为“csv”和“json”。 data_param 否 JSON data_format为csv时必填,其他可选。 scene_id
资源DIS相关服务。 创建资源 登录RES管理控制台,在左侧菜单栏中选择“资源中心”下的目标服务,单击页面上方“ 去创建”,跳转到对应服务管理控制台。 DLI创建集群操作详请参见数据湖探索用户指南>Spark作业控制台>Spark集群管理>创建集群章节。 CloudTable创建集群操作详请参见表格存储服务用户指南>
管理计算资源 计算资源DLI服务,添加的计算资源需根据实情情况进行合理分配。开通DLI集群大小就是根据业务需求对集群进行扩容缩容,计算资源最多设置5个。计算资源支持的操作包括: 创建计算资源 编辑计算资源 删除计算资源 创建计算资源 登录RES管理控制台,在“全局配置”页面的计算资源区域,单击“创建”添加计算资源。
前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 单击“创建”,在创建数据源页面,参考表1配置相关参数。 表1 创建数据源参数说明