サービス開発の開発現場で、いわゆるA/Bテスト (スプリットテスト) という手法に頼って意思決定することはしばしばある。意味のある比較になっているか？など、前提として検討する事柄はもちろんあるが、例えばどちらのUIが適切か etc. を合理的に判断する手段として、昔から使われてきている方法だ。
テストをとりあえずスタートすることは簡単だ。一方で、その結果の解釈というのが難しい。もちろん結果に大差がついてくれれば文句なしでドライに判断できる。一方で厄介なのは、僅差で結果どっちが勝ったのかよくわからない時だ。
自分がこれまで働いてきた中だと、こういった状況になると新パターンが勝利して終わることが多かった。なぜか？原因を雑にまとめてしまうと、新パターンの方が思い入れがあるケースがほとんどだからだと思うw 良かれと思って新しいパターンを試しているわけで、そこで大敗しない限りはそっちで行きたい、そういう定性的/感情的な側面がどうしても絡んでいる気がする。
こうやって書くと、A/Bテストというドライな方法を取り入れてるくせに非科学的な決断をしてしまっているじゃないか、という話になる。ほんとは、開始時に超厳密に科学的意思決定基準を作っておくのが良いのだろう。正当な方法で判断できていない可能性もある。
しかし、決して悪いことばかりではないような気もしている。なぜなら、新パターンをなんとかして勝たせるための努力を当事者として行うからだ。 "どうして差がつかないのか？", "どこが悪いのか？", "ここを改善してもう少しウォッチすれば結果は変わるのではないか?" というトライアンドエラーが生まれるため、結果として当初より良い形に落ち着くことも多い。これは片方に肩入れしているからこそできる行動であり、この点に関しては良いことだとは思うのだ。
勝つまでやろう、ホトトギス...