テストを科学する

導入の流れと導入事例

導入事例インタビュー

今「Antenna」は、SHIFTさんからのご意見が組み込まれてできていますね(笑)。
株式会社グライダーアソシエイツ シニアマネジャー 経営戦略本部 コンテンツマネジメント室 清河 祐子 様 シニアマネジャー サービス企画本部 アプリ開発・QCグループ 奥津 文治 様

SHIFTとの出会いと依頼の経緯

SHIFTにお仕事を依頼することになったきっかけ、また、そもそもお持ちだった課題について教えてください。

清河 様 : 初めてお話させていただいたのは2013年の5月です。弊社が運営するキュレーションマガジンAntenna[アンテナ] というサービスは、展開するデバイスがPC/スマホブラウザ、iPhone/Androidアプリと多岐にわたっているのですが、それを頻度およびサイクル短くバージョンアップしている状況でした。このような状況の中、テストを内部で行うことに限界を感じていて、テスト会社様を探していました。 いくつかの会社とお会いした中で、御社はこの業界での知見が豊富なことに加え、分かりやすいご提案、さらには人柄という点でも好印象だったので、SHIFTさんに決めさせていただきました。

人柄ですか(笑)。

清河 様 : はい。テストに関しては本当に人柄がすごく重要だと考えています。細かいところに配慮できるか、どれだけ真剣に集中してできるか、というところが「要」だと思っています。

「Antenna」のアプリ開発における課題は、どのようなものだったのでしょうか。

奥津 様 : 今まで開発チームでテストを行っていましたが、サービス規模が大きくなるにつれ、テストに割けるリソースをなかなか捻出できない状況にあり、外部の会社でテストをしていただくことでテストコストを下げたいという意図がありました。 そこでSHIFTさんにお願いしたわけですが、実際に走りはじめて10日もしないうちに製品の仕様を理解していただいて、そこから一気に開発スピードを上げることができました。

スマートフォンでのテストについて

業務に入ってからの印象はどうでしたか。

清河 様 : かなり柔軟な対応をしていただけるな、という印象を持ちました。いままでにない効率的なやり方を提案してくださったり、弊社でのコミュニケーションの取り方に合わせていただいたりですとか。

印象的なエピソードがあれば聞かせてください。

奥津 様 : 弊社のサービスはスマートデバイスでも展開していること、また、立ち上げ間もない会社ということもあり、一番問題になるのがテスト機材の不足というところでした。特にAndroidはとても多くの機種が出ているので、端末の準備が非常に困難でした。その点、御社にはほとんどの機種があると聞いていましたので、明日リリースしなければならないというときに、夜21時くらいにSHIFTさんに端末をお借りしてテストを行い、翌日返却したこともあります(笑)。その時とても柔軟にご対応いただけたことが印象に残っています。

我々はテスト専門会社ですので、スマートフォンの最新機種をそろえるのはもちろん、機種情報の把握や機種依存問題等も、どれだけ早くキャッチアップできるかということを日々心がけているのですが、そういったところを評価いただき非常に光栄です。

清河 様 : 弊社としても初めて外部の会社にテストをお願いする中で、まずiPhoneから試しにお願いしたところ、思った以上に工数が削減できましたので、そこから広げていったという経緯があります。

多機種で、OSもさまざまですし、いろいろな組み合わせがあるので、スマートデバイスのテストは本当にナレッジが大事になりますね。ハードウェアは新機種が出るごとに買いそろえていますが、お客様の悩みとしては「すべてできないよね」というところがあると思います。時間に限りがありますので、そこをどう絞り込むかも非常に重要かと思っています。

奥津 様 : 機種の絞り込みについては、画面の解像度やOSのバージョンといった切り口など、ある程度のしきい値を参考に、さらに「こういう機種でどうでしょう」というお見積もいただいて、こちらとしては非常に助かりましたね。

清河 様 : 実際に弊社の中で使われているデバイスを検証することと、世の中で一般的なもの、ちょっと癖のあるもの、この3つをそろえてデバッグできるというのは非常に安心感があります。

 “実際のテストについて"

頻繁にリリースを繰り返していることで短期的なお仕事をくり返しいただいているのですが、都度、対応はいかがですか?

奥津 様 : 前回までのナレッジがしっかり蓄積されていて、例えば2ヶ月とか期間があいたとしても、よく覚えていてくださっていますね。むしろ我々が過去の仕様で忘れてしまっているようなことも「以前はこういう動作でしたが、今回こう変更されましたか? 大丈夫ですか?」と確認してくださったり、今では我々よりも「Antenna」を理解してくださっているのでは、という状況ですね。

清河 様 : 当初は現在の体制ではなく、メジャーバージョンアップのときにお願いする、という体制でやらせていただいていました。 我々は内部の人間なので、わりとバイアスがかかったテストになりがちです。そういった部分に関しては、一般的なユーザー視点、客観的視点でのテストをSHIFTさんにお願いし、一方で細かい仕様まで把握していないと発見できないような不具合に関しては内部で、という形で役割を分けていました。 最近になると週に1回、多い時は週に2~3回のバージョンアップがあるため、全部内製してしまうとスピード感が追いつかないので、ほぼすべてお任せしています。我々は攻める側にリソースを割きたいので、守りをSHIFTさんと一緒に、と思っています。 それまでに構築した信頼関係があったからこそ、細かいサイクルのテストが発生したとしても、この体制が確立できたのだと思います。

コスト対効果についてはどんな風に感じられていますか?

清河 様 : 開始した当初はまだまだお互い知見がない状態だったので、やりとりにロスがあったかと思いますが、最近では効率化が進んで早めにテストを終え、検証を丁寧に行っているので質がどんどん上がっている感じがしています。

担当リーダーや一人ひとりのパフォーマンスはどうですか?

清河 様 : ずっとご担当の方が変わらないということがとてもやりやすく、ありがたいですね。現場リーダーのポジションの方が変わらないということが非常に重要だと考えています。 各メンバーの方々も、実は実際にお会いしたことはないんですが、1人1人の顔が見えるような状態でやりとりさせていただけているので、とてもやりやすいですし、ある程度同じ方をつけていただいているのでナレッジの抜けもれもない、そういった体制を敷いていただいているのは非常にありがたく思っています。

奥津 様 : テストケースの洗い出しや実行も、回数を追うごとに精度も速さも上がっている気がします。テストケースもこんなに細かく出していただいて、これ、テストするのにどのくらい時間かかるのかなと思うんですが、本当に全部終わらせてくれるんですね。しかもそのスピードはどんどん早くなってます。なので、もっと無茶をお願いできるのかな・・・、と思えるくらいですね(笑)。 もう1年くらいご一緒させていただいているんですが、我々のサービスも成長していますし、SHIFTさんのテストチームも、ものすごく成長されているのだなという印象をもっています。

今後の課題とSHIFTへの期待

今後の課題や、期待としては、どのような認識をお持ちですか?

奥津 様 : 今後はできるだけテストの自動化ができるといいと思っています。ただ、まだまだプロジェクトとしては新機能の開発が落ち着かないため、固定された機能ができあがってこないと難しいところがありますよね。ですので、新規開発がある程度落ち着くころには、自動化をやっていただければと思っています。

SHIFTも自動化に関しては強いところなので、支援させていただきながら、仕組み作りをご一緒させていただければと思っています。

清河 様 : 今やっていることは新機能のテストというところがほとんどなのですが、日常的な品質管理、日常的にチェックできる体制をつくれたらと思っています。今は最優先なところをやっていますが、その一段上の「安定的なサービス提供」をするための品質管理が重要になってくると思いますので、今後はそこをご一緒したいです。 また、実際のアプリの動きに関して人間が体感したときに、もうすこしゆっくりのほうがユーザー的には心地よい、というような、定性的な視点からもアドバイスいただけると嬉しいですね。

非機能の部分ですね。ユーザビリティーをどのように定量的にテストしていくかは非常に課題ですが、最近は使える手法がいくつかできています。そのあたりのご紹介もできるのではないかなと思っています。弊社の「ヒンシツ大学」というサービスでも講座を開講していますので、またご案内させていただければと思います。

全体を通じての評価

最後に、全体を通していかがですか?

奥津 様 : 現在、御社のテスト管理ツール「CAT」を利用させていただいています。基本的にはバグチケットがあがってくるので、それを対応するという使い方だと思うのですが、その中にすでに動作仕様的なご提案が10~15%くらいあり、実はCAT上のやりとりから、いくつか仕様が決まって行った部分もあります。今、「Antenna」は、SHIFTさんからのご意見が組み込まれてできていますね(笑)。今後も一緒に、いい「Antenna」を作っていければと思っています。


株式会社グライダーアソシエイツ
(Antenna)

WEBサイトはコチラ

ソフトウェアテストに関するお悩みなど、まずはお気軽にお問い合わせください。

  • お問い合わせフォーム【お問い合わせはコチラ】
  • 電話でのお問い合わせ【0120-142-117】