← トップへ戻る

プレプリント ·研究論文 ·速報 ·AI要約未精査 ·AIによる読み解き

コード生成におけるLLM調整：事前学習と微調整の真実とは？

大規模言語モデル(LLM)の調整手法がコード生成タスクに対してどのように影響を与えるかを分析

元記事タイトル: コード生成におけるLLMの調整手法：事前学習と微調整の比較

arXiv cs.AI 2026年06月30日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

LLMのコード生成性能は事前学習と微調整で異なる
DPOやBoNBoNといった最新手法を使用して評価
CODALベンチマークで非機能要件も評価

こんな人に関係ある話

AI研究者 Pythonエンジニア機械学習開発者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この研究では、大規模言語モデル(LLM)がコード生成タスクに対してどのように調整されるかを調査しています。Direct Preference Optimization(DPO)やBoNBoNといった手法を使用し、5つの最先端LLMについて事前学習済みと微調整済みの2種類の状態で評価を行いました。機能要件は4つのベンチマークで、非機能要件はCODALベンチマークで評価しました。

編集部コメント

本論文では、大規模言語モデル(LLM)の調整手法がコード生成タスクに対してどのように影響を与えるかについて深く掘り下げています。特に、事前学習と微調整の両方での性能を比較することで、開発者が最適なアプローチを選択するための情報を提供しています。

評価ポイント Assessment

良い点

LLMがコード生成タスクに対してどのように調整されるかを詳細に分析
事前学習と微調整の両方での性能を比較
DPOやBoNBoNといった最新手法を使用

業界・社会への影響 Impact

この研究は、LLMがコード生成タスクでどのように機能するかについて新たな洞察を提供し、開発者とAI研究者はこれに基づいてより効果的なコード生成モデルを開発することができます。

深堀り Deep Dive

前提知識

大規模言語モデル(LLM)は近年、自然言語処理やコード生成などの分野で急速に発展しています。コード生成においては、LLMが与えられた自然言語の指示から正しいコードを生成する能力が求められ、その調整方法として事前学習と微調整が用いられています。事前学習ではモデルが広範なデータから学習し、微調整では特定のタスクに合わせて最適化されます。ただし、これらの調整手法がコード生成の機能的・非機能的要件をどの程度満たすかについては、これまで明確な結論が得られていませんでした。

何が新しいのか

本研究では、Direct Preference Optimization(DPO)やBoNBoNといった新しい調整手法を用いて、5つのLLMを事前学習済みと微調整済みの2つの状態で評価しました。機能要件は4つのベンチマークで、非機能要件はCODALベンチマークで評価し、調整手法がコード生成の質に与える影響を明らかにしました。このように、LLMの調整手法とその効果を明確に比較した点が新鮮です。

今後見るべき論点

微調整済みLLMと事前学習済みLLMのどちらがコード生成においてより優れた結果をもたらすか、さらなる実験やベンチマークの比較に注目すべき
DPOやBoNBoNといった調整手法が、非機能要件（読みやすさ、保守性など）に与える影響の詳細な分析が今後の研究課題
LLMの調整方法がコード生成の品質に与える長期的な影響に関する研究が進展するだろう

用語解説

Direct Preference Optimization (DPO) LLMの出力を人間の好みに合わせて最適化するための調整手法。生成されたコードの質を高めるために用いられる

BoNBoN LLMの調整に用いられる手法の一つで、特定のタスクに適応させるためのデータを効率的に利用する

CODALベンチマークコード生成の非機能要件（読みやすさ、保守性など）を評価するために用いられるベンチマーク

微調整事前に学習されたモデルを特定のタスクに合わせて再訓練するプロセス

事前学習モデルが広範なデータから学習し、一般的な知識やパターンを習得するプロセス

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

コード生成におけるLLMの調整手法：事前学習と微調整の比較

arXiv cs.AI

https://arxiv.org/abs/2606.28998

[2606.28998] Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation https://arxiv.org/abs/2606.28998 used in analysis

Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation https://arxiv.org/html/2606.28998v1 used in analysis

[PDF] Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM https://arxiv.org/pdf/2606.28998

この記事の見取り図

読む前に確認
記事の読み解き
深堀り
参照元
AI要約について
関連記事

キーワード

LLM Direct Preference Optimization (DPO) BoNBoN SelfCodeAlign pipeline HumanEval+ MBPP+ EvalPerf EvoEval CODAL

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.AI
公開日	2026-06-30

元記事の説明文

arXiv:2606.28998v1 Announce Type: cross Abstract: Large Language Model (LLM) alignment trains an LLM using preference data to produce outputs that better meet established quality standards. While LLM alignment techniques are studied for non-coding tasks, we know little about their usefulness for coding tasks. It is unclear whether LLM code alignment could support both functional requirements (producing executable, correct code) and non-functional requirements (code readability, style, maintainability). It is also unknown whether alignment for a code LLM should begin with base pretrained version or the finetuned (i.e., instruction-tuned) version of the LLM. In this paper, we offer insights on the above two research questions by conducting an empirical study. We studied five state-of-the-art (SOTA) LLMs using two widely used LLM alignment techniques: Direct Preference Optimization (DPO) and BoNBoN. For each training record, we created a preference pair as accepted and rejected instances by using the SelfCodeAlign pipeline. DPO and BoNBoN are reward-free models, i.e., they eliminate the need for multiple reward scores for output preferences. We tuned each LLM using the two alignment techniques in two settings: pretrained and finetuned versions of an LLM. We evaluated functional requirements using four SOTA benchmarks (HumanEval+, MBPP+, EvalPerf, EvoEval) and non-functional requirements using the CODAL benchmark, which evaluates code quality across five dimensions derived from software engineering practices. We find that pretrained-to-aligned pathways achieve larger improvements in the aligned variant over its pretrained variant. But the pretrained variant is generally less accurate than its finetuned variant. However, finetuned- to-aligned offers smaller performance improvements or, in some cases, degradation in the aligned variant than its finetuned variant.