只需单个 4GB GPU 即可运行最强的开源 LLM 模型：Llama3 70B！-ChatGPT国内镜像中文交流-IntelliRealm

最强开源LLM模型Llama3已经发布，有关注者询问AirLLM是否可以支持本地运行Llama3 70B并配备4GB VRAM。答案是肯定的。开始了。

此外，Llama3 的性能与 GPT-4 相比如何？ Llama3使用了什么关键尖端技术来变得如此强大？Llama3的突破是否意味着开源模型正式开始超越闭源模型？今天我们也来给出我们的解读。

如何在只有 4GB 显存 GPU 的单个 GPU 上运行 Llama3 70B

Llama3的模型架构并没有改变，所以AirLLM其实已经天然的支持完美运行Llama3 70B了！它甚至可以在 MacBook 上运行。

首先，安装AirLLM：

pip install airllm

那么你只需要几行代码：

from airllm import AutoModel 
MAX_LENGTH = 128
 model = AutoModel.from_pretrained( "v2ray/Llama-3-70B" ) 
input_text = [         
  '美国的首都是什么？'    
 ] 
input_tokens = model.tokenizer(input_text,     
  return_tensors= "pt" ,      
  return_attention_mask= False ,      
  truncation= True ,      
  max_length=MAX_LENGTH,      
  padding= False ) 

Generation_output = model.generate(     
  input_tokens[ 'input_ids' ].cuda(),      
  max_new_tokens= 20 ,     
  use_cache= True ,     
  return_dict_in_generate= True )

output = model.tokenizer.decode( Generation_output.sequences[ 0 ]) 
print (output)

请在此处查看我们的 GitHub 存储库的更多详细信息。

请注意：它不是为聊天等实时交互场景设计的，更适合数据处理等离线异步场景。

它与 GPT4 相比如何？b

根据官方评测数据和最新的lmsys排行榜，Llama3 70B与GPT4和Claude3 Opus非常接近。

官方评测结果：

与仍在训练中的400B对比

Llama3 400B 已经非常接近 GPT4 和 Claude3 的最强版本，并且仍在训练中。

Llama3的核心改进是什么？

Llama3的架构没有改变；训练方法上有一些技术上的改进，比如基于DPO的模型对齐训练。

DPO 基本上已经成为所有排行榜上排名靠前的大型模型的标准首选训练方法 - 它非常有效！我们之前写过文章详细介绍了DPO，这里开源了所有代码。

当然，Llama3的主要秘密来源在于其训练数据的数量和质量的大幅增加。从Llama2的2T，增加到了15T！人工智能就是数据！

数据的提升不仅体现在数量上，更体现在质量上。 Meta做了大量的数据质量过滤、重复数据删除等工作，其中很多都是基于使用像Llama2这样的大型模型来过滤和选择数据。

请注意：此15T是经过严格过滤和清洁的。过滤之前可能有100多T。

训练AI模型的核心是数据。训练一个好的人工智能模型，不是有很多花哨的训练技巧，而是扎实细致地做好基础工作。尤其是数据质量方面的非性感、肮脏、乏味的工作——这实际上至关重要。

我一直对 Meta AI 的能力评价很高。从 Transformer 判别式 AI 的早期阶段开始，Meta AI 就以其扎实的数据处理基础而闻名，产生了许多长期在 SOTA 上名列前茅的经典模型，例如 Roberta 和 Roberta XLM，这是我们的首选模型很长时间。

Llama3 的成功是否预示着开源模型的崛起？b

开源与闭源之间的战斗可能还远未结束。还有很多戏剧性的事情要发生。

无论开源还是闭源，训练大型模型都成了烧钱的游戏。 15T的数据和400B的型号不是小玩家能承受的。我认为在接下来的六个月内，许多开发大型模型的小公司将会消失。

当谈到激烈的现金竞争时，真正重要的是投资货币化的长期能力和效率。事实上，直到今天，AI LLM真正货币化的应用仍然很少。很难说谁能够维持他们的投资以及以什么方式维持他们的投资。

从纯粹的技术角度来看，我们一直认为开放的文化对于人工智能至关重要。人工智能近年来的快速发展离不开人工智能社区的开放共享文化。即使在公司内部也是如此。能否保持开放、共享的环境，持续进行透明、开放的思想交流，是人工智能发展的关键。一个对外非常封闭的公司，内部也可能不太开放、透明，这迟早会阻碍其人工智能技术的快速发展，也无法真正打造一流的团队。