AIソフトウェアエンジニア、DevinがNstockにもやってきた。
まだ使い始めて間もないが、動かしてみた感想を残しておく。
概要が知りたい方はログラスさんのテックブログがおすすめ。
Knowledge Suggestion
色々指示を与えていると、こんなメッセージがSlackに飛んでくる。
Web UIで開くと
smarthr-uiのアップデートをお願いしていたので、smarthr-uiのアップデートを毎回確認するようなインストラクションを提案してくれた。
必要なインストラクションは受け入れ、必要ないものは捨てることができる。
このように、プロンプトをこうしたらいいんじゃない？と提案してくれるのは、Devinを「育てる」上で体験が良い。プロンプトを頑張らなくても、やり取りをベースに勝手に「育ってくれる」。
本格的なLLMエージェントを使うのは初めてだが、多くのLLMエージェントに汎用的に入る仕様に思えた。
自分の作業を代替してくれるか
集中してやるなら自分がやったほうが早い、が、別の作業やMTGしてる間に実装を進めてくれるのはありがたい。
今のところ、機能実装をゼロからいい感じに実装するのはまだハードルがある。プロンプトを育てていった先にどうなるか。
一方で、書記として参加してもらったり、既存の実装をみながらDBのカラムにコメントをつける、といった定型業務は得意そうだ。
ペイするか
ドキュメンテーションや既存実装を真似た軽い開発、ライブラリアップデートなどは十分任せられそう。エンジニアの手が回らなくて...と諦めていた小さな改善に手が回るようになる。
一方で新規開発をイチから任すにはもう少し成長が必要そう。やり取りが多すぎてコードを開発したほうが早い。
コードベースのドキュメンテーションやコメントが拡充し、DevinがKnowledgeを十分手に入れた時、どくれらいの粒度の開発を任せる事ができるのか楽しみ。
1ACU = 約15分(要出典、Docで見つけられてないが、ブログをいくつか読んだ感じこのくらい？)、$500で250ACU使えるので、
$500 / (15分 * 250 / 60 ) = $500 / 62.5h = 8 $/h ≒ 1250円/h
時給1250円で簡単なタスクをすべて請け負ってもらえるなら全然ペイする。より時給の高い人間のエンジニアが複雑なタスクや価値の創出に集中する時間を作れる。
採用に関する不確実性を抑えつつエンジニアリングのケイパビリティを獲得できることを考えると使わない手はないんじゃないか。
Devinをいかにうまく使いこなすかが、今年の大きなテーマになりそう。