检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
压缩大小，不减精度双精度是64位，单精度是32位，所谓的半精度浮点数就是使用2个字节（16位）来存储。比起8位或16位整数，半精度浮点数具有动态范围高的优点；而与单精度浮点数相比，它能节省一半的储存空间和带宽。比起双精度和单精度浮点数，半精度浮点显然没有那么适合计算。
从上可以理解(float16为半精度浮点数，float32为单精度浮点数)，MindSpore是将网络中的前向计算部分`cast`成半精度浮点数进行计算，以节省内存空间，提升性能，同时将`loss`值保持单精度浮点数进行计算和存储，`weight`使用半精度浮点数进行计算，单精度浮点数进行保存
9223372036854775807）uint8无符号整数（0 to 255）uint16无符号整数（0 to 65535）uint32无符号整数（0 to 4294967295）uint64无符号整数（0 to 18446744073709551615）float_float64 类型的简写float16半精度浮点数
**混合精度训练方法**是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。即在尽可能减少精度损失的情况下利用半精度浮点数加速训练。
float16：半精度浮点数 float32：单精度浮点数 float64：双精度浮点数 float128：扩展精度浮点数 复数类型: complex64：由两个32位浮点数表示的复数 complex128：由两个64位浮点数表示的复数 complex256：由两个128位浮点数表示的复数
数组一般要求所有元素类型相同（同质），数组下标从0开始 1234 ndarray元素类型 布尔：bool（True False） c语言int，环境有关： intc，intp 整数：int8，int16，int32，init64 无符号整数： uint8，uint16，uint32，uinit64 半精度浮点数
而在混合精度训练过程中，每一个step会为模型的所有weight维护一个FP32的copy，称为Master Weights，在做前向和后向传播过程中，Master Weights会转换成FP16（半精度浮点数）格式，权重，激活函数和梯度都是用FP16进行表示，最后梯度会转换成FP32
255） uint16 无符号整数（0 to 65535） uint32 无符号整数（0 to 4294967295） uint64 无符号整数（0 to 18446744073709551615） float_ float64 类型的简写 float16 半精度浮点数
也就说明AICPU完全可以调用数据类型__fp16来实现原生支持半精度浮点数计算。
16位，正负号1位，指数5位，精度10位 'f2' np.float32 单精度浮点数：32位，正负号1位，指数8位，精度23位 'f4' np.float64 双精度浮点数：64位，正负号1位，指数11位，精度52位 'f8' np.complex64 复数，分别用两个
9223372036854775807）uint8无符号整数（0 to 255）uint16无符号整数（0 to 65535）uint32无符号整数（0 to 4294967295）uint64无符号整数（0 to 18446744073709551615）float_float64 类型的简写float16半精度浮点数
混合精度训练：使用混合精度（例如半精度浮点数）进行训练，能够加快训练速度并减少显存占用。 优化损失函数：通过设计新的损失函数（如感知损失、对抗损失），增强模型对图像细节和风格的捕捉能力。 8. 评估与评价生成图像的质量 生成图像的质量评估是衡量模型性能的重要环节。
16位，正负号1位，指数5位，精度10位 ‘f2’ np.float32 单精度浮点数：32位，正负号1位，指数8位，精度23位 ‘f4’ np.float64 双精度浮点数：64位，正负号1位，指数11位，精度52位 ‘f8’ np.complex64 复数，分别用两个
9223372036854775807）uint8无符号整数（0 to 255）uint16无符号整数（0 to 65535）uint32无符号整数（0 to 4294967295）uint64无符号整数（0 to 18446744073709551615）float_float64 类型的简写float16半精度浮点数
先进的训练技巧 6.1 混合精度训练 混合精度训练是一种通过使用半精度浮点数（FP16）替代单精度浮点数（FP32）进行训练的技术。这种方法可以显著提高训练速度，并减少显存的占用，同时几乎不会影响模型的准确性。
json文件 data_cache_dir：训练数据缓存文件夹 output_dir: 输出文件夹 output encoded layers：设置隐层输出为True gradient_accumulation_steps：梯度累积 temperature：蒸馏温度 fp16：开启半精度浮点数训练
生成单张图像 #@title 填写英文提示词 import torch from diffusers import StableDiffusion3Pipeline # 清理 GPU 缓存 torch.cuda.empty_cache() # 确保使用半精度浮点数 torch_dtype
比如 1.1，其程序实际上无法真正的表示 ‘1.1’，而只能做到一定程度上的准确，这是无法避免的精度丢失：1.09999999999999999 二、浮点数精度问题 其实，在JavaScript中浮点数精度问题还要复杂些，这里只给一些在Chrome中测试数据： console.log
3.14f; float b = -5.23f; *(int*)(&a) ^= *(int*)(&b); *(int*)(&b) ^= *(int*)(&a); *(int*)(&a) ^= *(int*)(&b); printf("%f %f",a,b); return 0;} 单精度浮点数在内存里占
比如 1.1，其程序实际上无法真正的表示 ‘1.1’，而只能做到一定程度上的准确，这是无法避免的精度丢失：1.09999999999999999 二、浮点数精度问题 其实，在JavaScript中浮点数精度问题还要复杂些，这里只给一些在Chrome中测试数据： console.log
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
