赤兔马资讯网赤兔马资讯网

赤兔马AIGC资讯网
互联网aigc应用大全
文章387浏览40611本站已运行852
分类:

TAG:上交大新框架让LLM推理增速11倍

2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍

上海交通大学IPADS实验室发布了一款名为PowerInfer的开源推理框架,旨在显著提升大模型推理速度。原本使用昂贵的80GBA100显卡才能完成的任务,现在使用不到24GB的24GB4090显卡就能实现,且无需量化,仅使用FP16精度即可在个人电脑上运行40B模型,量化后甚至能让2080Ti运行70B模型。PowerInfer通过混合CPU和GPU计算,利用大模型的稀疏激活特性,将计...

2024-07-1099 浏览0条评论1