Git を用いたバージョン管理においてコミットメッセージの品質は開発効率に大きな影響を与える．しかし実際の開発現場では，変更内容を適切に要約したコミットメッセージが作成されない場合がある．本研究ではGit コミットの差分データから自動的にコミットメッセージを生成し，人間が作成したコミットメッセージとの品質比較を行う．具体的には，大規模言語モデルを用いて差分内容の要約を生成し，Sentence-BERT による意味的類似度評価によってその品質を定量化する．予備実験として4766 件のコミットを持つseL4/seL4 リポジトリを対象とした評価を実施し，LLM による自動コミットメッセージ生成の実用性と限界について検討した．