ドキュメント文字列を LLM を活用した関数に変換する Python ライブラリ、 smartfunc のリリースにより、開発者の間でプログラミングワークフローに大規模言語モデルを統合する最適なアプローチについて活発な議論が巻き起こっています。この議論は根本的な問いを浮き彫りにしています：LLM は高レベル仕様のコンパイラとして扱うべきか、それとも開発プロセスにおける協力的なアシスタントとして扱うべきか？
コンパイラ型 vs アシスタント型のパラダイム
コミュニティでの議論から、多くの開発者は LLM をジュニア開発者としてではなく、コンパイラとして扱うことを好む傾向が明らかになっています。このアプローチでは、LLM は会話を通じてコードを生成する協力者としてではなく、高レベルの仕様（ドキュメント文字列など）を機能的なコードに変換するツールとして位置づけられています。あるコメント投稿者はこの感覚を明確に表現し、LLM をコンパイラのように扱うことは、開発アシスタントとして見るよりも、より拡張性があり、合成可能な精神モデルを表していると提案しています。
しかし、 smartfunc の基盤となる llm ライブラリの作成者である Simon Willison が指摘したように、 smartfunc は実際にはコンパイラとして機能していません。代わりに、関数を実行するたびに LLM を呼び出す関数に変換し、ドキュメント文字列をプロンプトとして渡します。この説明により、真のコンパイラのような実装がどのようなものかについてさらなる議論が起こりました—おそらく、繰り返し API 呼び出しを行うのではなく、最初の呼び出し時に Python コードを生成してキャッシュするようなものです。
実行時の柔軟性と代替アプローチ
複数の開発者によって指摘された重要な制限の一つは、実行時に同じ関数を異なる LLM で使用することの難しさです。 smartfunc が使用するデコレータパターンは、インポート時にモデルの選択を固定してしまい、本番環境では制限的だと感じる開発者もいます。 think のような代替ライブラリは、LLM オブジェクトを明示的に渡すことでより柔軟性を提供すると言及されています。
また、この議論では異なる言語間での類似の実装についても触れられ、開発者たちは JavaScript 向けの同様のツールや、Java バージョンへの関心について言及しています。この複数言語にまたがる関心は、様々な開発環境に LLM を統合するための標準化されたパターンへの需要の高まりを示しています。
ディスカッションで言及された類似ライブラリ
- smartfunc: ドキュメント文字列をLLM関数に変換するPythonライブラリ
- Tanuki: smartfuncと同様の機能を持つ
- promptic: 多くのモデルプロバイダーをサポートするlitellmのラッパー
- think: 実行時の柔軟性のためにLLMオブジェクトを渡す代替アプローチ
- llm-docsmith: 既存のコードのドキュメント文字列を生成するためのプラグイン
- neuro-lingo: 関数結果を「固定」する機能があると言及された
- instructor: バリデーションサポートを備えたより機能豊富な代替手段
- marvin: 代替LLM関数ライブラリ
自然言語プログラミングの未来
複数のコメント投稿者は、現在の LLM 統合の取り組みと、COBOL のような1960年代の自然言語によるプログラミングをより身近にしようとした歴史的な試みとの類似点を指摘しています。COBOL が英語に似た構文の初期の試みを表していたのに対し、現代の LLM は Jensen Huang のビジョンである「自然言語がプログラミング言語になる」という考えにより近づいている可能性があります。
また、この議論ではワークフローの興味深い対比も強調されています。 smartfunc がドキュメント文字列を使用して機能を生成する一方で、一部の開発者は逆方向で LLM を使用していると報告しています—コメントの少ないコードに対して包括的なドキュメントを生成させるというものです。コードと自然言語の間のこの双方向の関係は、仕様、実装、ドキュメントの境界がますます流動的になる進化する開発プラクティスを示唆しています。
キャッシングとローカル実行
将来の改善に向けて、開発者たちは基盤モデルへの繰り返しの API 呼び出しを行うのではなく、特定の関数に特化した小型モデルに LLM の機能を蒸留するアプローチに関心を示しています。これにより、潜在的にレイテンシーとコストを削減しながら信頼性を向上させる可能性があります。
既知の良好な出力をキャッシュするという概念も、LLM の非決定論的な性質を緩和する方法として議論されました。一部の開発者は、ビルドステップ中にコードを生成し、テストやコンパイル要件に対して検証し、成功した結果をキャッシュする実装を提案しています—これにより、開発者のコントロールを維持しながら、LLM が変更できる範囲を効果的にサンドボックス化します。
LLM 統合パターンが進化し続ける中、コミュニティは、プログラマーの主体性を維持しながら、繰り返しの多い冗長なコーディングタスクを処理するために AI のパワーを活用するアプローチに収束しているようです。 smartfunc のようなドキュメント文字列を活用した関数や、より洗練されたコード生成とキャッシングシステムを通じて、これらのツールは自然言語とコードがより共生的な関係で存在する新しいプログラミングパラダイムに向けた初期のステップを表しています。
参考： smartfunc