开源大模型与OpenAI差别大吗

Question

那些开源大模型与OpenAI差别大吗，比如llama这些，是不是底模没有OpenAI数据完善，其他的方面差别大吗？···

Answer 1

tomiezhang 2024-05-07 20:51:05

OpenAI没有公开他们的训练数据集，所以无从对比，只能从能力上对比，目前看OpenAI的训练数据和训练方法依然还是最领先的，llama的70B也就能达到gpt3.5的水准。另外在算力、托管方式、自由度各个方面都有差别，只能说尺有所短寸有所长，以后得LLM应用不一定会都用一个模型，而可能是根据不同场景来调用不同能力的模型

• 提问者 慕娘6279593 #1

  llama的70B指的是他的底模数据量吗？…

• tomiezhang 回复 提问者 慕娘6279593 #2

  大模型中的参数数量，如7B、13B、70B，指的是模型包含的参数总数，用“B”表示十亿。这些参数是模型在训练过程中学习到的权重和偏置，它们决定了模型如何从输入数据中提取特征并做出预测或生成结果。
  
  在深度学习和人工智能领域，一个“参数”通常指的是模型中的一个可学习的元素，可以是一个权重（weight）或偏置（bias）。权重控制输入数据的影响程度，而偏置则是在权重计算之后加上的值，用以调整输出。模型的参数数量是衡量其复杂度、学习能力和计算需求的重要指标之一。
  
  - **7B** 表示模型有大约70亿个参数。
  - **13B** 表示模型有大约130亿个参数。
  - **70B** 表示模型有大约700亿个参数。
  
  参数数量越多的模型通常具有更强的学习能力和更高的预测精度，因为它们能够捕捉到数据中更细微的特征和模式。然而，参数数量增加也意味着需要更多的数据来有效地训练模型，以及更高的计算资源和时间成本。此外，过多的参数有时也会导致过拟合，即模型在训练数据上表现出色，但在未见过的新数据上表现不佳。因此，在设计和训练大规模模型时，需要在模型能力和计算效率之间找到合适的平衡点。

• 提问者 慕娘6279593 回复 tomiezhang #3

  回复 tomiezhang：追问一下这些70B的参数量是怎么统计得出来的，我搜了一下没有找到很好的解释，你能帮我解释一下吗，比如我手上有一张200*200像素的图片，你能详细解释下llama 70B的参数量怎么去学习这个图片的吗？···

点开查看后面1条评论