标题：PyTorch架构优化库torchao正式发布，AI模型效率提升显著 新闻摘要： PyTorch新版本下的架构优化库torchao于10月2日正式推出，专为提升AI模型的效率而设计。torchao提供了一系列工具，专注于模型的量化和稀疏性优化，旨在在保持性能的同时降低计算成本和RAM使用量。通过支持float8和int4等低精度数据类型，torchao能有效减少硬件开销和RAM用量。 在预训练方面，torchao的float8训练流程使得LLaMA 3 70B模型的计算速度提升1.5倍。开发者只需通过convert_to_float8_training函数即可将模型训练转换为float8，实现高效训练。对于推理，torchao提供了权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization）等多种量化方法，用户可根据需求选择最合适的策略以优化模型性能。 在稀疏性优化上，torchao能够提高模型参数计算效率，使ViT-H模型的推理速度提升5%。此外，torchao还支持权重量化为int4，以及键值缓存量化为int8，这使得LLaMA 3.1 8B在完整128K上下文长度下的内存使用量降至18.9GB。torchao的发布为AI模型的运行效率带来了显著提升，值得AI领域的开发人员关注并应用。