生成式人工智能的前景日益广阔。
今天，meta宣布了一系列新的人工智能模型，旨在驱动OpenAI等应用程序和其他现代聊天机器人。meta声称，在公开可用数据的混合训练下，Llama 2的性能比上一代Llama模型有了显著提高。
Llama 2是Llama的后续产品，它是一组模型，可以根据提示生成文本和代码，与其他类似聊天机器人的系统相媲美。但羊驼只有在请求时才会出现;meta决定限制模型的访问权限，以免误用。(尽管采取了预防措施，但Llama后来还是在网上泄露了信息，并在各个人工智能社区传播开来。)
相比之下，研究和商业用途免费的Llama 2将以预训练的形式在AWS、Azure和hug Face的人工智能模型托管平台上进行微调。meta表示，它将更容易运行——由于与微软扩大合作，以及搭载高通骁龙芯片系统的智能手机和个人电脑，它将针对Windows进行优化。(高通公司表示，它正努力在2024年将Llama 2引入骁龙设备。)
那么《羊驼2》和《羊驼》有什么不同呢?在许多方面，所有这些元突出在一个冗长。
羊驼2有两种口味，羊驼2和羊驼2-聊天，后者是微调双向对话。Llama 2和Llama 2- chat进一步细分为不同复杂的版本:70亿参数，130亿参数和700亿参数。(“参数”是从训练数据中学习的模型的一部分，本质上定义了模型在问题上的技能，在本例中是生成文本。)
“羊驼2”接受了200万个token的训练，其中“token”代表原始文本，例如“fan”、“tas”和“tic”代表“fantastic”。这几乎是Llama训练的两倍(1.4万亿)，一般来说，代币越多，生成人工智能就越好。谷歌目前的旗舰大型语言模型(LLM)在360万个令牌上进行了训练，据推测，GPT-4也在数万亿个令牌上进行了训练。
meta没有透露白皮书中培训数据的具体来源，只是说这些数据来自网络，大部分是英文的，而不是来自该公司自己的产品或服务，并强调文本的“事实”性质。
我冒昧地猜测，不愿透露训练细节不仅源于竞争原因，还源于围绕生成式人工智能的法律争议。就在今天，数千名作者联名写信，敦促科技公司在未经许可或赔偿的情况下，停止将他们的作品用于人工智能模型培训。
但我离题了。meta表示，在一系列基准测试中，Llama 2的表现略逊于最高级别的闭源竞争对手GPT-4和PaLM 2，其中Llama 2在计算机编程方面明显落后于GPT-4。但meta声称，人类评估人员发现Llama 2和ChatGPT一样“有用”;“羊驼2号”在大约4000个旨在探索“乐于助人”和“安全”的问题中回答得一样好。
meta的羊驼2模型可以用表情符号回答问题。图片来源:meta
不过，对这一结果持保留态度。meta承认，它的测试不可能捕捉到每一个真实世界的场景，它的基准可能缺乏多样性——换句话说，没有充分覆盖编码和人类推理等领域。
meta也承认《Llama 2》与所有生成式AI模型一样，在某些轴上存在偏差。例如，由于训练数据的不平衡，“他”代词的生成率往往高于“她”代词。由于训练数据中的有毒文本，它在毒性基准上的表现并不优于其他模型。《羊驼2》也有西方倾向，这要再次感谢数据失衡，包括大量的“基督教”、“天主教”和“犹太教”。
在meta的内部“有用性”和毒性基准上，美洲驼2- chat模型比美洲驼2模型做得更好。但他们也往往过于谨慎，模型会在拒绝某些请求或回应太多安全细节方面犯错误。
公平地说，基准测试没有考虑到可能应用于托管Llama 2模型的额外安全层。例如，作为与微软合作的一部分，meta使用Azure AI内容安全服务，该服务旨在检测人工智能生成的图像和文本中的“不适当”内容，以减少Azure上有毒的Llama 2输出。
在这种情况下，meta仍然尽一切努力与涉及Llama 2的潜在有害结果保持距离，在白皮书中强调Llama 2用户必须遵守meta的许可条款和可接受的使用政策，以及关于“安全开发和部署”的指导方针。
meta在一篇博客文章中写道:“我们相信，公开分享今天的大型语言模型也将支持有用且更安全的生成人工智能的发展。”“我们期待看到《羊驼2》带给世界的变化。”
但是，考虑到开源模型的性质，没有人知道如何或在哪里确切地使用这些模型。随着互联网以闪电般的速度发展，我们很快就会找到答案。
