LLMファインチューニングの実用手法比較：LoRA・QLoRA導入時のメモリ効率と適用分野を中心に解説

ファインチューニングって何かというと――まあ簡単に言うと、すでに大量のテキストで事前学習された大規模言語モデル（LLM）を、そのままじゃなくてね、特定のタスクとか分野向けにもっと上手く動くよう手直しする工程なんですよ。最初から全部作り直すわけじゃないです。たとえば法的な書類、医療系記録、それにカスタマーサービスで使われる会話データみたいな、小ぶりで厳選したデータセットを使って、モデルの出力傾向やふるまいを細かく調整していく感じかな。そうやってチューニングすることで、LLMは専門性が求められる場面でも精度とか信頼感がアップして、文脈理解も強くなったりするんですよね。

┌───────────────────┐
│ Pretrained LLM │
│ (general text) │
└─────────┬─────────┘
│
│ Add domain/task-specific data
▼
┌───────────────────┐
│ Fine-tuning │
│ (adjust weights) │
└─────────┬─────────┘
│
|
|
┌─────────▼─────────┐
│ Specialized LLM │
│ (legal, medical, │
│ customer support)│
└───────────────────┘

ファインチューニングには、大きく分けて二種類の手法が存在します。一つは「全パラメータファインチューニング」と呼ばれるもので、読んで字のごとく_モデル中すべての重み_が新しいデータによって一気に更新されます。これならターゲットとなる領域やタスクへの“入り込み具合”がすごく深い反面、とんでもない計算リソースとかストレージが要求されるので、大型LLMだと現実的じゃないケースもしょっちゅう見かけます。対して、「パラメータ効率型」のアプローチでは_モデル内部の一部だけ重みを変えて残りはそのまま固定_――そんなやり方でチューニングします。この方法なら計算負荷や必要リソースをずいぶん抑えつつ仕上げられるって寸法です（だから用途によって賢く選ぶの、大事かもしれません）。ま、いいか。

LoRAとかアダプター、それからprefix-tuningなんかもこのグループに入るんだよね。こうした方法、昔ながらのフルファインチューニングよりもずっと軽量で、コスト的にも全然安く済むし、学習時間もびっくりするほど短いっていうメリットがあるわけ。しかもね、不思議と結果のパフォーマンスがほとんど変わらない場面が結構多いからさ、実際問題「効率」や「経費」を意識せざるをえない現場じゃ、このパラメータ効率重視型のファインチューニング手法が最近では定番になってきてる気がする。

### **カタストロフィック・フォゲッティング（破滅的忘却）のリスク**
フルパラメータファインチューニングを選ぶときはどうなるかというと…モデル内すべての重みがトレーニング時に書き換えられるため、特定分野や用途向けへの適応力をめいっぱい引き出すことが可能になる感じかな。例えば法律契約書やバイオ系の専門研究論文、それから科学論文なんか、細かい言語運用だったり推論スタイルまで深掘りして身につけられる。でもね、一つだけ無視できない落とし穴 - それがカタストロフィック・フォゲッティング（破滅的忘却）という現象だよ。ま、本当に油断できないポイント。

_**これは何かと言えば、モデル全体のパラメータを書き換えるせいでプリトレ段階で手に入れていた一般常識的な知識や情報、その一部を失ってしまうリスクなんだよね。その影響で対象外領域になるとうまく動かなくなったり、多様な応用性とか性能自体もちょっと下がっちゃうこともあったりする。**_

こういった課題へのアプローチとして、研究者たちはだいたい正則化や知識蒸留、もしくはハイブリッド方式なんかを組み合わせて、モデルが得意分野にしっかり特化しつつも幅広い能力を保てるよう頑張ってたりします。うーん、完全な答えじゃないかもだけど、そのへんが実際の現場でよく使われるやり方ですね。

## パラメータ効率の良いファインチューニング（PEFT）

パラメータ効率の良いファインチューニング（Parameter-Efficient Fine-Tuning, PEFT）は、大規模言語モデルで何十億もあるパラメータ全部を直接いじらなくても対応できるように工夫された一群のテクニックです。まったく全部を更新する従来のフルファインチューニングだとコストや計算資源がけっこうエグいので、PEFTではごく一部のパラメータだけ動的に調整したり、凍結状態の元モデルの上にちょっとした追加モジュール（軽量なやつ）を積むことで負荷を下げています。なので、多くの場合フルチューンと似た精度まで持っていきつつ、消費メモリ・計算時間・作業的な負担を思いきり小さくできる感じ。ちなみにPEFTには「加算型」「選択型」「再パラメータ化型」って三つの主なカテゴリがあるんですよ。

## 加算型手法

加算型タイプでは、基盤となるパラメータセットは基本凍結したままで、その上から小ぶりな学習可能コンポーネントだけ後乗せして適応させる仕組みです。膨大な重みを書き換える代わりに、軽量モジュールとか追加エンベディングみたいなのを挟むので、新しいタスクへけっこうサクッと対応できますね。これのおもしろいところは、あとでコンポーネントごと抜き差しもしやすいモジュール性が高めな点だったり、それでいて圧倒的にメモリ効率が良かったりするあたりでしょうか。ま、いいか。

パラメータ効率を意識した微調整技術、いわゆるPEFTに関してだけど、最近は**Adapters**やら**Soft Prompts**みたいな方式が本当によく使われている。まずAdaptersって、トランスフォーマーの各ブロック内部へ後付けで新しいニューラル層を組み込む感じになってて、その結果タスクに固有な情報を吸収するという大切な役割があるんだよね。で、一方のSoft Promptsの場合はといえば、「これ面白そう」と思えるくらい変わった手法で、入力データの一番前（つまり冒頭部分）に学習可能なベクトルを足し合わせるんだ。ただモデル自身の中身──特に重みとか構造そのもの──は全然変えず、中身そのままで挙動のみコントロールしちゃう発想なのさ。やっぱりこの2つとも「追加される部品部分だけ」学習すればOKって話なので、とにかく保存容量が抑えめだしメモリ的にもありがたいと思う。

## Selective Methods

Selective Methodsというカテゴリーではね、モデル内部パラメータの一部だけ「ここだけちょっと変えてみようかな？」と限定して微調整できちゃう。確かに全パラメータごっそり訓練…ってスタイルよりも計算量だいぶ減るので現実的なんじゃないかな。ただ、どこを選ぶか次第（例：ある層orバイアス項目のみ等）で仕上がり精度には多少波も出そう？　さて、有名ドコロとして真っ先に思いつくのはやっぱりトランスフォーマー構造最上部周辺だけ微修正する**Top Layer Fine-tuning**あたり。それから妙にライトな形態だけど、多層全部でバイアスターンばかりを対象化する「**BitFit (Bias-only Fine-tuning)**」なんかもちょっと風情あるよね。（この辺たしか海外論文でも時々話題…？）ま、いいか。

スパースアップデートというのは、ざっくり言えばパラメータのごく一部だけにフォーカスして調整する方法ですね。ただ、その部分を見つけるには計算負荷がちょっと重くなる場合もあるみたい。まあ、それなりにコストはかかるってことです。次に、再パラメータ化系の手法ですけど、これは重み自体の更新方法そのものを再構築しちゃうアプローチで、よく低ランク近似を使うんですよ。大きな密行列全体を学習させるより、うまくまとまった小規模な構造で必要な効果をちゃんと捉える - そんなやり方なので、結果的にスケーラビリティとか効率性が高くなります。たとえば有名なLoRA（Low-Rank Adaptation）は、小さい低ランク行列だけで重みのアップデートをシンプルに表現できるところが面白いかも。それからQLoRAは、このLoRAと量子化技術を掛け合わせてて、大型モデルのファインチューニングなのに小型GPUでもイケたりするんです。ほかにもFastfood Transform（あるいはIntrinsic SAIDって呼ばれることも）みたいなのは、決まったパターンで組まれた低ランク変換でパラメータ更新全体を圧縮しますね。こうした手法、それぞれ工夫の仕方は違うけど、「モデル更新の効率アップ」と「リソース節約」に確かな成果が見られます……ふむ、と感じました。ま、いいか。

パラメータ効率を重視したファインチューニングの方法って、実は再パラメータ化（reparameterization）に根ざすタイプがけっこう業界の中でも定番化してる気がする。特に効率と性能、その両方を無理なく両立できる点がポイントなんだろうね。重みを低ランクな形で更新することで、学習で増えるパラメータ量がグッと少なくなるのに、不思議と精度はちゃんと維持されやすいんだ。ま、これが大きなモデルを限られた計算環境で調整したい時、とくに研究者や企業では重宝されてるって話。眠い頭で思い出しながら書いてるけど(笑)、このカテゴリーで最もよく使われている代表的な技術はLoRA（Low-Rank Adaptation）、さらにその拡張版のQLoRA（Quantised LoRA）だよね。LoRAはトランスフォーマー層に低ランクのアダプターを追加する発想が画期的だったし、それと量子化テクニックを合体させたQLoRAのおかげで、巨大なモデルでも1台のGPUさえあればファインチューニングできちゃう環境も珍しくなくなってきたんだ。ほんと便利…。

LoRA（Low-Rank Adaptation）っていう手法、まあ簡単に言うと、大規模言語モデル（いわゆるLLMs）のファインチューニングを効率よくするための工夫なんだよね。実際、パラメータが数十億もあるモデルになると、全部いっぺんにアップデートしようとしたらGPUのメモリがすごく圧迫されて、現実的じゃない。例えば7B（＝70億）パラメータとかさ、重み行列Wにも当然その分値が入ってる。で、学習時はバックプロパゲーションでΔWという更新行列を計算して、「どこをどれくらい変えたいか」決めるわけ。でもこのΔWもまた7B個あるとなると、その全体を保存したり更新したりするのって、う～ん……まあ正直しんどい。

そこでLoRAが登場するって感じなんだけど、この手法ではΔW自体をまるっと保持せずに、もっと小さな2つの行列AとBで近似しちゃおうという発想なのね。たったそれだけ？と思うかもだけど、それで必要な学習パラメータ数が大幅に減って、省メモリかつ高速なファインチューニングが可能になるというワケ。この「ほんの一部しか学ばない」っていうやり方は今までなかった発想なので、新鮮さもあるかな。まあ細かい話はいろいろあるけど、本質的にはコスパ重視でLLMsを使いたい人には結構ありがたいアプローチだと思うよ。ま、いいか。

LoRAの低ランク分解がメモリを節約できる理由って、ざっくりいうと一般的な重み更新方法と並べてみると分かりやすいんですよね。今までの手法だと、W（凍結して動かさないパラメータ）とΔW（全部つながった大きな更新成分）を足し算してWupdated = W + ΔWみたいにするわけです。でも、このやり方だとΔW自体をまるごと持たないといけなくて、学習中もずっと保管＆調整し続けるから、当然メモリ消費がどんどん大きくなるんです。あー、ちょっと面倒ですね。

それに対してLoRAは、ΔWという膨大な行列を「低ランクで因数分解」してしまう作戦を採っています。要はΔW ≈ A × Bという感じで、小さめな二つの行列A・Bに置き換えちゃう。しかも、それぞれの内部サイズ（r）はrankという名前のパラメータで調整できます。そうすると重み全体に比べてパラメータ総数そのものもガツンと減りますし、おまけに必要なメモリも一気にダイエットできちゃう、という寸法です。

このrank、つまりrの値はLoRAの設定によって好きに選べます。以前だったら丸ごとの更新行列ΔW自体をごそっと最適化してたんですが、今はAとBそれぞれ二つだけ更新する形になるんですね。当然rが小さいほどAやBの内部次元もコンパクトになって、そのぶん学習できるパラメータも控えめなので省メモリ・高速化にはばっちり。ただ正直、小さいrだと思考停止になっちゃう部分もありそうだし、ごく限定された表現力しか使えなくなる可能性があります。ま、いいか。でも逆にrを大きくすると本格的なチューニングにも迫れる柔軟さが出て、その分だけ演算資源・記憶容量の消費量もしっかり増える感じですね。このへんは用途や予算と相談しながら落とし所を探すしかなさそうです。

Quantised LoRA（QLoRA）って、かなり大きめな言語モデルでも、一枚のGPUとか限られたハードウェア環境でファインチューニングできちゃうように進化したLoRAの一種なんです。肝になる仕組みとしては、「量子化」と「LoRAアダプター」の2つをあわせて使う形になってます。最初の「量子化ステップ」では、もともと訓練されていたモデルの重みWWWが4ビット精度までギュッと圧縮されるんですよ（普通だったら16ビットか32ビットが一般的ですよね）。ここでメモリ消費が結構ガッと抑えられるのに、パフォーマンス自体はフル精度に近いままという点が面白いところです。で、そのあと「LoRA適応ステップ」ってやつに進むんですが、ここでは凍結された状態の量子化済みモデルに対して、小規模だけどちゃんと学習できる低ランク行列AAAやBBB（つまりLoRAアダプター）が新しく追加されます。この仕掛けで、ものすごく大きいモデルでも無理せず手元の環境で微調整できるんですね。ちょっと技術っぽい話になっちゃったけど、分からなかったら「ま、いいか。」って流しても全然OKです。

えーと、朝起きたばかりで頭がまだ回ってないけど、この話題けっこう面白いから、ちょっと頑張って書いてみるね。QLoRAではね、訓練するのはアダプター部分だけで、圧縮された元々の重み（ベースウェイト）は実際そのまま手付かずなんだよ。なんというか、この辺りが結構ユニークな仕組みかも。しかも、「効果的な重みの更新」は従来のLoRA方式に近い感じで行われているそう。とはいえ、100％同じとも言い切れない気もする。ま、いいか。

特に注目すべきなのは、大規模モデル（33Bとか65Bパラメータ規模！）でも1枚のそこそこのGPUでファインチューニングできる効率性が一気に高まったこと。この恩恵はけっこう大きくて、個人とか小さめの研究室でも本格的なLLMファインチューニングが視野に入るし、それができることで新しい研究やスタートアップも挑戦しやすくなったんじゃないかなぁと思う。それから4ビット量子化を使いつつも、「ほぼフル精度のLoRA並み」にちゃんと近い性能を保てる点も魅力として語られているんだ。正直、自分もちょっと半信半疑だったけど…。

あと、参考になる文献としては「PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs」とか「LoRA: Low-Rank Adaptation of Large Language Models」、「Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)」、それと「Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments - Lightning AI」などが挙げられるよ。まあ細部まで突っ込むと終わらなくなるので、とりあえず今日はこのくらいで…。