检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。
附录 背景信息 表1 数据集成实施 类别 步骤 实施说明 数据集成实施 开发测试 数据开发任务梳理:根据数据湖数据集成方案、数据湖数据集成实施指南及待入湖数据情况,梳理需要开发的数据集成任务和脚本,并明确入湖开发分工及节奏。 数据入湖开发实施:按照数据集成方案和实施指南进行实施,开发数据集成任务或脚本,并完成测试。
创建用户 功能介绍 在指定的身份源中创建一个IAM身份中心用户。 URI POST /v1/identity-stores/{identity_store_id}/users 表1 路径参数 参数 是否必选 参数类型 描述 identity_store_id 是 String 身份源的全局唯一标识符(ID)
快速搭建智能分析助手 应用场景 智能分析助手提供对话式数据分析,通过自然语言与数据交互进行数据分析、获取智能见解、生成可视化图表等操作。智能分析助手不仅能简化数据分析的处理难度,也能提升自助图表分析的效率。本文以某类商品的销售数据为例,介绍使用智能分析助手的方法。 操作流程 图1
Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
创建和管理GaussDB(DWS) Schema Schema又称作模式,从逻辑上组织一个数据库中的对象和数据。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 相同的数据库对象名称可以应用在同一数据库的不
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 类型 状态码 错误码 错误信息 描述 处理措施 访问方式 500 CAE.01500101 Remote creates access failed. 访问方式创建失败 需要联系技术支持工程师,检查报错具体内容。
通过动态存储卷使用文件存储 本文介绍如何通过存储类动态创建PV和PVC,并在工作负载中实现数据持久化与共享性。 前提条件 您已经创建好一个集群,并且在该集群中安装CCE容器存储(Everest)。 如果您需要通过命令行创建,需要使用kubectl连接到集群,详情请参见通过kubectl连接集群。
Go 样例 发送短信、发送分批短信 接收状态报告、接收上行短信 环境要求 go1.11及以上版本 引用库 github.com/satori/go.uuid 发送短信为单模板群发短信示例,发送分批短信为多模板群发短信示例。 本文档所述Demo在提供服务的过程中,可能会涉及个人数据
Go 样例 发送短信示例、发送分批短信示例、接受状态报告示例、接收上行短信示例 环境要求 go1.17.1,IntelliJ IDEA 2021.1.3安装插件(Go 211.7628.1) 发送短信为单模板群发短信示例,发送分批短信为多模板群发短信示例。 本文档所述Demo在提
] ) ] [ TABLESPACE tablespace_name ]; 参数说明 UNIQUE 创建唯一性索引,每次添加数据时检测表中是否有重复值。如果插入或更新的值会引起重复的记录时,将导致一个错误。 目前只有行存表B-tree及UBtree索引支持唯一索引。 CONCURRENTLY
动态预热配置优先级高于集群级别的容器网卡动态预热配置。 容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池 ,定时(约10s一次)检测并计算需要绑定的预热容器网卡数或需要解绑的空闲容器网卡数 : 需要绑定的预热容器网卡数 = min(nic-maximum-target -
13-r0、v1.27.10-r0、v1.28.8-r0、v1.29.4-r0及以上版本的集群中支持选择系统组件的存储位置,且配套使用CCE节点故障检测插件时需安装1.19.2及以上版本的插件。 数据盘 如果“系统组件存储”选择“数据盘”,至少需要添加一块默认数据盘,供容器运行时和Kube
io/backup: true”,标识该 secret 是用于备份存储库的管理。 创建存储库 这里的备份存储库是指 E-Backup 用于获取和检测后端对象存储服务相关信息的 K8s 资源对象。 apiVersion: velero.io/v1 kind: BackupStorageLocation
库启动失败。 如果设置此参数的值大于实际的内核限制,则一个正在运行的递归函数可能会导致一个独立的服务器进程崩溃。 因为并非所有的操作都能够检测,所以建议用户在此设置一个明确的值。 默认值最大为2MB,这个值相对比较小,不容易导致系统崩溃。 bulk_read_ring_size