Devinを2ヶ月間使った結果w

話題のAIソフトウェアエンジニア「Devin」を2ヶ月間ほど試用してみました。今回はその結果や感想、そしてDevin 2.0で追加された新機能についてご紹介します。

Devinってなに？

まず、「Devinってなに？」という方のために簡単にご紹介します。 Devinは、Cognition社によって開発された「a collaborative AI teammate」（協調的なAIチームメイト）です。野心的なエンジニアリングチームがより多くのことを達成できるよう支援することを目的としています。Devin自身もslackで「I am an AI software engineer」と名乗っています。

devin.ai

具体的には、タスクを与えると、人間のように考え、計画を立て、ツールを使い、コードを書き、デバッグし、最終的にプルリクエストを作成してくれるAIです。

どう使うか

実際に私たちがDevinをどのように使っていたか、そのプロセスは以下の通りです。

設計を書く: まず、人間が実装したい機能の設計を書きます。
- 例：広告のゲーム設定について、新規テーブル作成、DBクラス追加、ドメイン内での処理実装、API作成、管理ページ作成など、具体的な指示をissueに記述。(Page 3 画像より)
依頼する: 作成した設計をもとに、Devinにタスクを依頼します。
- 例：「広告のゲーム設定について設計を書いたのでgamewithレポについてやってみて」
修正依頼する: Devinが作成したコードやプルリクエストに対して、レビューを行い、必要であれば修正を依頼します。
ところどころ人間が直す: AIが完璧に意図を汲み取れない部分や、細かいニュアンスの調整は人間が直接コードを修正します。
QAする: 最終的な動作確認や品質保証は人間が行います。

途中で、Devinに作業をさせすぎるとACU（Agent Compute Unit）を浪費してしまうという反省点もありました。月250ACUsの利用制限があり、あるタスクでは33.17 ACUsも消費してしまい、これは他のタスク（大体10ACUs以下）と比較しても非常に大きいものでした。適切なタスク分割や指示の出し方が重要だと痛感しました。

人間が特にやる必要がある箇所

Devinを使ってみて、人間が特にやる必要があると感じたのは以下の3点です。

設計（タスクの分割）:
- 何も考えずに丸投げすると後で後悔します。しかし、ついつい丸投げしたい欲求に負けてしまうことも…（慣れてくると顕著に）。
- Devinにフロントとバックエンドの両方を一度にやらせようとするとACUが大変なことになるため、タスクを分けた方が良い、という学びもありました。
QA:
- Devinが書いたコードが本当に動くかどうかの確認は必須です。また、人間が見て気に入らないUIや細かい仕様のズレなどを修正する必要がありました。
反省:
- 「丸投げしてはいけない」と反省すること自体が、人間がやるべきことの一つかもしれません（笑）。

結局、やれる量は増えるの？

気になるのは「Devinを導入して、実際にこなせる作業量は増えたのか？」という点ですよね。私たちのチームでは2月からDevinを導入しました。

結果として、1.2倍くらいのアウトプット向上が見られました。何より、体感としては非常に楽になったと感じています。つまり、「人は楽になって、量が増える」というポジティブな効果がありました。

なぜそんなに増えないのか？

1.2倍というのは大きな進歩ですが、期待していたほどの爆発的な増加ではないかもしれません。その理由としては、以下の2点が考えられます。

人間がやる箇所がまだ結構ある:
- 前述の通り、設計、QA、細かい修正など、人間が介在するべき部分は依然として多く残っています。
人間の能力が徐々に低下していく（かもしれない）:
- AIが何かしらでスタックすることはよくあります。
- そんな時、「一番賢いAIに投げて解決を祈る」という他力本願な思考に陥りがちですが、それでも解決しないことがあります。
- 結局、しぶしぶ人間が対応することになるのですが、普段AIに頼っていると、いざという時に問題解決能力が低下していて、対応に時間がかかってしまう…という懸念があります。