2023年8月24日に、Metaはテキストプロンプトを使用してコードを生成することができる大規模言語モデル（LLM）「Code Llama」をリリースしたと発表しました。
Code Llamaは、Python、C++、Java、PHP、Typescript（Javascript）、C#、Bashなど、現在使用されている最も人気のある言語を多数サポートしており、コードや自然言語からのコードの生成や保管、デバックなどのタスクを行えます。
今回公開されたVersionは7B、13B、34Bの3つのパラメータをもつCode Llamaです。
7Bおよび13BのベースモデルとInstructモデルも、既存のコードにコードを挿入できるfill-in-the-middle（FIM）機能を持ってトレーニングされています。
これにより、コードの補完のようなタスクをすぐにサポートすることができます。
これらのモデルは、異なる提供方法と動作要件に対応しています。
たとえば、7Bモデルは一般的な単一のGPUで提供でき、34Bモデルは最高の結果を返し、より良いコーディングアシスタンスを提供しますが、小さい7Bおよび13Bモデルはリアルタイムのコード補完のような低遅延が必要なタスクに適しています。
さらにCode Llamaのほかに「Code Llama – Python」と「Code Llama – Instruct」の2つのモデルを公開しました。
Code Llama – Pythonは、Code LlamaのPython言語専用のバリエーションであり、100BのトークンのPythonコードでさらに微調整されています。
Code Llama – Instructは、Code Llamaの指示を微調整および調整したバリエーションです。より自然言語の指示から正確な出力が提供されます。
Code Llamaモデルは、専用ページから氏名やメールアドレスなどを登録し、利用規約に同意すればダウンロードできます。
引用
