云服务器内容精选

  • 概述 欢迎使用智能数据洞察(DataArts Insight)。 智能数据洞察(DataArts Insight)是一站式 数据可视化 BI开发平台,提供可视,实时,易用,安全的企业智能分析服务。适配云上云下多种数据源,提供丰富多样的可视化组件,采用拖拽式自由布局,轻松实现数据分析和报表搭建,快速定制专属数据大屏。 您可以使用本文档提供API对智能数据洞察探索进行相关操作,包括获取数据源、准备数据集、数据分析、数据大屏等。支持的全部操作请参见API概览。 在调用 数据湖探索 API之前,请确保已经充分了解DataArts Insight相关概念。详细信息请参见产品介绍。 父主题: API使用前必读
  • Gremlin/Cypher查询是否支持几条命令一起执行? Gremlin支持多条命令一起执行,命令之间用分号隔开。 例如: graph = EywaGraph.open('ges_6715');g = graph.traversal();g.V().limit(1) Cypher暂时不支持多条命令一起执行。 Cypher查询的语法请参考Cypher查询 。Gremlin查询的语法请参考Gremlin查询。 父主题: API使用类
  • 创建项目 拥有创建项目权限的用户可以在CodeArts API的控制台创建新的项目。 登录CodeArts API控制台,单击“创建项目”,弹出“创建项目”窗口。 填写项目基本信息。 表1 新建项目参数说明 字段名称 是否必填 备注说明 项目名称 是 项目名称,限制128个字符。 项目描述 否 项目描述,限制1024个字符。 单击“确定”,完成项目创建。 CodeArts API还支持查看和使用在软件开发生产线CodeArts中创建的IPD项目。
  • 为什么调用API时提示“APIG.0301”? 调用API时提示“APIG.0301”,可能有以下两个原因: 提示"error_msg":"Incorrect IAM authentication information: decrypt token fail","error_code":"APIG.0301",是因为token解密失败,请检查token是否完整、是否过期、获取token与调用服务的区域是否跨区、账号是否因欠费等原因导致权限被限制。具体请参见Token认证鉴权。 提示"error_msg":"Incorrect IAM authentication information: verify aksk signature fail","error_code":"APIG.0301",是因为AK/SK认证失败,请检查AK/SK是否正确、账号是否因欠费等原因导致权限被限制。具体请参见AK/SK认证鉴权。 父主题: API使用
  • 调用API示例 获取Token ,并设置成环境变量,Token用于后续调用其他接口鉴权。 获取用户Token,请求内容示例如下: curl -X POST https://{iam_endpoint}/v3/auth/tokens -H 'content-type: application/json' -d '{ "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "{user_name}", "domain": { "name": "{user_name}" }, "password": "{password}" } } }, "scope": { "project": { "id": "{project_id}" } } } }' -vk 上述命令中,部分参数请参见以下说明进行修改,具体请参考《 统一身份认证 服务API参考》的获取用户Token接口: {iam_endpoint}请参见地区和终端节点获取。 {user_name}和{password}分别替换为连接IAM服务器的用户名和密码。 {project_id}为项目ID。在管理控制台,将鼠标移至用户名,在下拉列表中单击“我的凭证”,查看“项目ID”。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值,如下图所示: 图1 从返回消息的Header中获取X-Subject-Token 使用如下命令将token设置为环境变量,方便后续事项。 export Token={X-Subject-Token} X-Subject-Token即为1.a获取到的token,命令示例如下: export Token=MIIDkg******BZQMEAgEwg 调用API,请参考认证前准备获取 域名 、请求方法和URL,并在请求消息头中增加“X-Auth-Token”,“X-Auth-Token”的取值为1中获取的Token。参数请根据实际情况填写。 curl -X 请求方法 域名+URL -H "x-auth-token: $Token" -vk
  • 认证前准备 APP认证方式调用API,需要提前获取如下信息: 访问服务前,首先需要得到API的请求方法和请求url。 在 API服务 详情中的“API运行”页面,查看对应API的请求方法和请求url。 图1 API基础定义 您必须将API发布到环境才能访问。 在API服务详情中的“API运行”页面,查看已发布的环境。 图2 运行环境信息 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。 在凭据策略详情页面,查看“应用凭据”的Key和Secret,即为APP的AppKey和AppSecret。 图3 查看Key和Secret Key:APP访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 Secret:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 发送API请求时,需要将当前时间置于请求消息头的X-Sdk-Date,将签名信息置于请求消息头的Authorization。 客户端须注意本地时间与时钟服务器的同步,避免请求消息头X-Sdk-Date的值出现较大误差。 ROMA API除了校验时间格式外,还会校验该时间值与ROMA API收到请求的时间差,如果时间差超过15分钟,ROMA API将拒绝请求。 父主题: 使用APP认证调用API
  • 接口调用示例 本小节介绍使用API的基本流程。 获取相关信息。 已获取IAM的Endpoint,具体请参见地区和终端节点。 在管理控制台,将鼠标移至用户名,在下拉列表中单击“我的凭证”,查看“项目ID”。 获取用户Token,并设置成环境变量,Token用于后续调用其他接口鉴权。 执行以下命令,获取用户Token。 curl -X POST https://{iam_endpoint}/v3/auth/tokens -H 'content-type: application/json' -d '{ "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "{user_name}", "domain": { "name": "{user_name}" }, "password": "{password}" } } }, "scope": { "project": { "id": "{project_id}" } } } }' -vk 上述命令中,部分参数请参见以下说明进行修改(具体请参考《统一身份认证服务API参考》): {iam_endpoint}替换为前提条件中获取的IAM的Endpoint。 {project_id}替换为前提条件中获取的项目ID。 {user_name}和{password}分别替换为连接IAM服务器的用户名和密码。 响应Header中“X-Subject-Token”的值即为Token: X-Subject-Token:MIIDkgYJKoZIhvcNAQcCoIIDgzCCAxxxxxx38CAQExDTALBglghkgBZQMEAgEwg 使用如下命令将token设置为环境变量,方便后续事项。 export Token={X-Subject-Token} X-Subject-Token即为3.a获取到的token,命令示例如下。 export Token=MIIDkgYJKoZIhvcNAQcCoIIDgzCCAxxxxxx38CAQExDTALBglghkgBZQMEAgEwg 调用API,请参考认证前准备获取域名、请求方法和URL。参数请根据实际情况填写。 curl -X 请求方法 域名+URL -H "x-auth-token: $Token" -vk
  • 有哪些途径可以使用 内容审核 的API? 共有三种方式可以基于已构建好的请求消息发起请求。 cURL cURL是一个命令行工具,用来执行各种URL操作和信息传输。cURL充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。cURL适用于接口调试。关于cURL详细信息请参见https://curl.haxx.se/。 编码 通过编码调用接口,组装请求消息,并发送处理请求消息。 REST客户端 Mozilla、Google都为REST提供了图形化的浏览器插件,发送处理请求消息。 针对Firefox,请参见Firefox RESTClient。 针对Chrome,请参见Postman。 父主题: API使用类
  • 邀请其他企业用户 可以通过邀请其他企业用户,对当前项目进行查看或编辑。 单击“添加成员”旁的下拉框,选择“邀请其他企业用户”。 弹出“邀请其他企业用户”对话框,在“企业用户”输入框中输入企业用户ID,在“用户名称”输入框中输入需要邀请的用户名称后,单击右侧“添加用户”,可一次性添加同一企业不同用户。 单击“确定”导入其他企业成员,默认为“浏览者”身份权限。可通过设置项目成员角色修改成员角色与权限。
  • 概述 欢迎使用 数据湖 探索。 数据湖探索(Data Lake Insight,简称 DLI )是完全兼容Apache Spark、Apache Flink、trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、 CSS 、OBS、E CS 自建数据库以及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作,包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题: API使用前必读
  • 基于learner.predict进行模型推理 learner.predict( img_path='your_local_path_of_image', checkpoint='your_local_path_of_pretrained_model', gpu_ids=None, save_dir='your_local_path_for_saving_output' ) 表4 learner.predict参数 参数名称 可选/必选 参数类型 参数描述 img_path 必选 string 图片路径,当前predict仅支持推理图片。 checkpoint 可选 string 预训练模型路径,默认为None。当基于learner.fit完成训练且该参数为None,则基于训练后的模型参数进行推理。如果指定checkpoint路径,则加载对应路径的模型参数进行推理。 gpu_ids 可选 int/list 推理时使用的GPU,默认为None(使用cpu进行推理)。 save_dir 可选 string 默认为初始化Learner时指定的work_dir,可指定其他本地路径。 model 可选 Model object 自定义Model对象,仅用于open-mmlab系列模型,默认为None。默认值时使用基于learner.fit训练好的模型进行推理。 score_thr 可选 float 推理时结果置信度阈值,默认为0.3,仅用于open-mmlab系列模型。 ret_vis 可选 boolean 是否可视化推理结果,默认为False,仅用于open-mmlab系列模型。
  • 基于learner进行模型评估 learner.validate( data=db, checkpoint="your_local_path_of_pretrained_model", gpu_ids=[0] ) 表3 learner.validate参数 参数名称 可选/必选 参数类型 参数描述 data 可选 DataBlock object 数据集对象,默认为None,初始化方法参考DataBlock模块。默认值时会基于构建好的DataBlock对象中的validation data进行模型评估。 checkpoint 可选 string 预训练模型路径,默认为None。当基于learner.fit完成训练且该参数为None,则基于训练后的模型参数进行评估。如果指定checkpoint路径,则加载对应路径的模型参数进行评估。 gpu_ids 可选 int/list 模型评估时使用的GPU序号。open-mmlab系列模型默认使用0号卡。ivg系列可指定,如0或者[0, 1]。 show_score_thr 可选 float 评估时预测结果置信度阈值,默认为0.5,仅用于open-mmlab系列模型。 out 可选 string 评估结果pkl文件保存路径,默认为None,仅用于open-mmlab系列模型。
  • 基于learner进行模型训练 learner.fit( lr=0.001, max_epochs=5, weight_decay=0.005, seed=None, checkpoint=None, gpu_ids=[0], world_size=1, local_size=1, launch_remote=False ) 表2 learner.fit参数 参数名称 可选/必选 参数类型 参数描述 lr 可选 float 学习率参数,默认为0.001。 max_epochs 可选 int/float 最大训练epoch数,默认为5。 weight_decay 可选 float 权重衰减,默认为0.005。 seed 可选 int 训练随机数,默认为None。 checkpoint 可选 string 预训练模型路径,优先级高于初始化Learner和Model时的路径参数,指定checkpoint入参后会覆盖初始化Learner或Model时对应checkpoint的模型参数。 gpu_ids 可选 int / list open-mmlab系列默认使用0号卡进行训练。ivg系列可指定,如0或者[0]或者[0,1]。 world_size 可选 int 分布式训练节点数量,默认为1,暂不支持分布式训练。 local_size 可选 int 单个节点中的GPU数量,默认为1,暂不支持分布式训练。 launch_remote 可选 boolean 提交训练作业,默认为False,暂不支持基于API提交训练作业。
  • 数据集统计信息可视化 数据集API支持自动统计数据集信息,比如目标、尺寸等信息,帮助用户更好的理解数据集,同时还可以动态查看每一个batch经过pipeline之后的输入图像,确保数据增强的正确性。 db.plot_dataset_stats() 可以绘制数据集的统计信息,图像的显示大小可以由figsize参数控制; db.print_dataset_stats() 能够打印出具体的统计信息数值; db.show_batch() 可以动态展示内存中的经过增强后的图片信息,可以通过rows(显示行数)和figsize(显示大小)来控制输出。 注:show_batch返回一个生成器,可以使用next进行访问,比如: plotter = db.show_batch(rows=2, figsize=(14, 8)) next(plotter) 表2 show_batch参数说明 参数名称 可选/必选 参数类型 参数描述 rows 可选 int batch绘制行数,默认为1。 figsize 可选 tuple 画布尺寸。
  • 加载数据集 from modelarts.algo_kits import DetDataBlock """ 加载coco格式数据集,并指定训练集和验证集文件路径,类别数和类别信息默认会自动读取。 """ db = DetDataBlock(env, batch_size=8, data_root="./data/raw/coco2017_sample", num_classes=80, train_img_prefix="val2017", train_ann_file="annotations/instances_val2017.json", val_img_prefix="val2017", val_ann_file="annotations/instances_val2017.json", model_name="mmdetection:fcos/fcos_r50_caffe_fpn_gn-head_1x_coco" ) 表1 DetDataBlock参数说明 参数名称 可选/必选 参数类型 参数描述 env 必选 EnvManager Object 上下文管理对象,初始化方法请参考算法工程环境管理。 batch_size 可选 int 批处理大小,默认为8。 workers 可选 int 数据加载进程数,默认为4。 data_type 可选 string 数据集类型,目前只支持“coco”,其他数据集格式可以通过COCOConverter进行转换。 data_root 必选 string 数据集路径。 seed 可选 int 随机数种子。 num_classes 可选 int 类别数,默认会从标注信息中读取。 categories 可选 list / tuple / string 类别信息,默认会从标注信息中读取,如果指定类别信息,则只加载对应类别的数据。 train_img_prefix 必选 string 训练集图片的相对路径(相对于data_root)。 train_ann_file 必选 string 训练集标注文件的相对路径(相对于data_root)。 val_img_prefix 可选 string 验证集图片的相对路径(相对于data_root),默认不加载验证集信息。 val_ann_file 可选 string 验证集标注文件的相对路径(相对于data_root),默认不加载验证集信息。 test_img_prefix 可选 string 测试集图片的相对路径(相对于data_root),默认不加载测试集信息。 test_ann_file 可选 string 测试集标注文件的相对路径(相对于data_root),默认不加载测试集信息。 model_name 必选 string 模型名称。