Metaは最先端のコーディング用大規模言語モデル「Code Llama」を発表

Metaは最先端のコーディング用大規模言語モデル「Code Llama」を発表

2023年8月24日に、Metaはテキストプロンプトを使用してコードを生成することができる大規模言語モデル(LLM)「Code Llama」をリリースしたと発表しました。

Code Llamaは、Python、C++、Java、PHP、Typescript(Javascript)、C#、Bashなど、現在使用されている最も人気のある言語を多数サポートしており、コードや自然言語からのコードの生成や保管、デバックなどのタスクを行えます。

今回公開されたVersionは7B、13B、34Bの3つのパラメータをもつCode Llamaです。

7Bおよび13BのベースモデルとInstructモデルも、既存のコードにコードを挿入できるfill-in-the-middle(FIM)機能を持ってトレーニングされています。
これにより、コードの補完のようなタスクをすぐにサポートすることができます。

これらのモデルは、異なる提供方法と動作要件に対応しています。
たとえば、7Bモデルは一般的な単一のGPUで提供でき、34Bモデルは最高の結果を返し、より良いコーディングアシスタンスを提供しますが、小さい7Bおよび13Bモデルはリアルタイムのコード補完のような低遅延が必要なタスクに適しています。

さらにCode Llamaのほかに「Code Llama – Python」と「Code Llama – Instruct」の2つのモデルを公開しました。

Code Llama – Pythonは、Code LlamaのPython言語専用のバリエーションであり、100BのトークンのPythonコードでさらに微調整されています。

Code Llama – Instructは、Code Llamaの指示を微調整および調整したバリエーションです。より自然言語の指示から正確な出力が提供されます。

Code Llamaモデルは、専用ページから氏名やメールアドレスなどを登録し、利用規約に同意すればダウンロードできます。

引用

あわせて読みたい
Introducing Code Llama, a state-of-the-art large language model for coding Code Llama, which is built on top of Llama 2, is free for research and commercial use.
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

AI・DX・LowCodeなど企業に役立つ情報を発信しています。

目次