テストを科学する

2014/03/11

「第1回 じどうかの窓口 セミナー」を開催しました

SHIFTではこれまで多くのお客様のCI/自動テスト導入をご支援してきましたが、そこで培ったノウハウを利用した新たなサービス「じどうかの窓口」を企画しました。その活動の一環として、2月25日に「第1回 じどうかの窓口セミナー」を開催しましたので、その様子をレポートいたします。

セミナーの概要とプログラム

「じどうかの窓口」は、テスト自動化を始めたいけれどどこから手をつければ良いか分からない、どんなツールを使えば良いか分からない…という方のためのご相談窓口です。セミナーでは、サービスのご紹介をするとともに毎回様々な切り口からテストツールをピックアップしてご紹介していく予定です。今回は初回ということもあり、テストツールを使う立場と提供する立場それぞれのスピーカー陣をお招きしてご講演を頂きました。

日時 2014年2月25日 19:00-21:00
定員 80名
場所 東京都港区麻布台2-4-5 メソニック39MTビル 12F 株式会社SHIFT
費用 無料
プログラム ・ご挨拶、じどうかの窓口構想(SHIFT)
・テストツールの使い分け OSS vs 商用ツール(株式会社ACCESS 松木様)
・Web&モバイル環境に対応したテスト自動化ソリューションのご紹介
(マイクロフォーカス株式会社 山城様)
・DevOps時代のテスト・ツール(日本オラクル株式会社 中島様)
・質疑応答
・ネットワーキング

 

じどうかの窓口のご紹介

セミナーの最初に、SHIFTの営業担当 保科とCI・自動化コンサルタントの玉川より「じどうかの窓口」の構想についてご紹介しました。
SHIFTではここ数年にわたりお客様の開発・テスト工程にCI(継続的インテグレーション)や自動テストを導入する支援サービス、そして実際に自動テストスクリプトを構築・保守していくサービスを行ってきました。これまでは主にツール導入・スクリプト構築という実稼働の部分からのお手伝いが多かったのですが、実際にはその前段として「自動化には興味があるけれど、何から始めればいいのか?」「我々のアプリケーションでは自動化をすることが可能なのか?」といったお悩みをお持ちのお客様が多いことに気づき、そういったお悩みに答える専門のサービスを立ち上げようとしています。

「じどうかの窓口」は無償と有償2つのサービスに分かれています。無償サービスでは、Web上の簡易な診断ツールを用いて今のアプリケーションが自動化に向いているかどうか・どんな導入のしかたが合っているかの概要を知ることができます。もっと詳しく知りたい、さらに自社製品の内部を見て判断して欲しいという場合には有償サービスの対象となり、実際にSHIFTの自動化コンサルタントが自動化可否判断や自動化のトライアル等を行います。元々SHIFTはOSSツールを活用した自動化を得意としていることもあり、特定のツールを推奨するのではなく公平な目で選定したツールをお勧めすることが可能です。

テストツールの使い分け OSS vs 商用ツール

講演のトップバッターは、ツールを使いこなす側のユーザ企業代表として株式会社ACCESSの松木様にお話をいただきました。松木様はACCESSの品質管理責任者を務める傍ら、テスト自動化研究会(STAR)やJaSST実行委員会・ソフトウェアテスト技術振興協会(ASTER)等の各種コミュニティでも幅広く活躍されています。
今回のテーマは「OSS vs 商用ツール」ということで、ツールの効果的な活用方法と選定の方針について語って頂きました。
まずOSS/商用ツールに共通する点について。共通する利点として真っ先にあげられるのは、反復作業を軽減することによる開発コストの削減、そして自動化によるテストの精度向上です。ただし、ツールに頼りすぎてその背後にある思想を理解せずに使ってしまうリスク、導入・運用コストを見誤るリスク等も共通のものとなります。これは商用ツールでも同様で、ツールをしっかりと使いこなすにはイニシャルの購入費用以上の人的コストが必ずかかってきます。
これを踏まえた上で、OSSと商用ツールの違いを
・導入とランニング
・継続的テーラリング
・ライフサイクル
・プロセス改善
という4つの切り口から取り上げて頂きました。「継続テーラリング」という言葉はこの日初めて松木様が使われた造語だそうです。テーラリングというと普通は社内の標準プロセスを個別のプロジェクトに合わせて調整することを指しますが、ここでは「プロセスをツールに合わせる」「ツールをプロセスに合わせる」双方の意味でうまくコストを抑えながらツールを活用していくための試みのことを指しています。
ここに出ている切り口からも分かるとおり、ツール選定の際には機能・性能だけでなく「自社で運用できるか」「自社のプロセスに合うか」「今後もツールの発展に合わせて使い続けていくことができるか」ということを十分に吟味していく必要があります。

Web&モバイル環境に対応したテスト自動化ソリューションのご紹介

続いては、ツールベンダー代表としてSilk TestやSilk Mobileで有名な株式会社マイクロフォーカスの山城様に登壇頂きました。マイクロフォーカス社は製品リリースの速さに強みを置いており、主力製品であるSilk Testは年2回のメジャーバージョンアップに加えて半年に2〜3回というペースでサービスパックを提供しています。これにより、昨今のめまぐるしいブラウザのバージョンアップにも対応しています。

Silk TestはブラウザアプリケーションでなくJavaアプリケーション、.NETアプリケーション等多くのユーザインタフェースをサポートするテスト自動実行ツールです。オリジナルの統合環境である「Silk Test Workbench」に加え、.NET開発者向けの「Silk4Net」やJava開発者向けの「Silk4J」という3つの開発環境が用意されており、チームのスキルに合わせて最適なものを選ぶことができます。

Silk TestはIE/Firefox/Chromeで共通のスクリプトを実行できるクロスブラウザ機能を備えていますが、OSSのブラウザテストツールの代表格であるSeleniumに比べて2つの利点があるそうです。1つは実行速度で、Seleniumに比べて約4倍の実行速度が見込まれています。また、Seleniumでコーディングする際にはどうしてもブラウザに合わせてコードを調整する必要が出てくることがありますが、Silk Testではそのような書き換えがあまり発生しません。さらに、PC環境だけでなくモバイル環境のブラウザでテストスクリプトの記録・実行を行うこともできます。最新のリリースではChromeに加えてAndroid標準ブラウザも使うことができるようになります。

後半は、モバイルのテストに特化した比較的新しいツール「Silk Mobile」についてのお話でした。Silk MobileをインストールしたPCに実機をUSB接続するだけでテストの記録・実行ができる(Root奪取不要)という非常に敷居の低い機能に加え、CPUやメモリ使用量など各種メトリクスも取得できることからデバイスメーカーにも人気があるそうです。また、最近ではSIerからの引き合いも増えているということでした。

マイクロフォーカス社ではこれ以外にも静的解析ツールや性能テストツール等、アプリケーションのテストを行うための包括的なツールセット群を保持しています。これらのツールをまとめて使うこともできますし、ユーザ都合で部分的に置き換えて使うことも可能です。松木様のお話の最後では「最適なツールチェーンの設計」というキーワードも飛び出しましたが、各製品の特徴を見極めて必要な部分だけを取り入れるという考え方も重要です。

DevOps時代のテスト・ツール

最後の講演は日本オラクル株式会社の中島様より、主に負荷テスト周りのツール活用事例についてお話を頂きました。負荷テストというとどうしてもインフラチームに協力を仰がないと実施が難しいイメージがありますが、実際にデータやシナリオを準備するにはビジネス側・アプリケーション側の知識が必要になってきます。そんなケースでの課題を解決した例として、3つの事例を紹介して頂きました。

最初の事例は「負荷テストスクリプトと本番監視」という一見意外な取り合わせです。本番システムの監視というと簡易なヘルスチェック・CPUやメモリ等のメトリクス取得というイメージがありますが、実際に起きているビジネス上の問題を検知するにはそれでは不十分な場合があります。そこで、負荷テストで流したスクリプトを本番システムの監視にも流用してビジネス視点での監視を行おうという試みとなります。

2つめは、ミドルウェアのバージョンアップ等で必要になるシステム全体の負荷テストで本番同等のワークロードを実現するという試みです。Oracle Real Application Testing/Oracle Application Replay Packという製品を組み合わせることで、本番のHTTPリクエストやSQLを取得し簡単に現新比較を行うことができます。

3つめは2つめの事例と係る内容として、「容易に本番データの量を使えない場合」の解決方法です。環境都合で本番の小さなサブセットを使ってテストしたいという場合はよくありますが、その際うまく本番のデータのバラ付きや整合性を維持し、かつデータをマスキングするためのツールとしてOracle Data Masking Pack/Oracle Test Data Management Packが用意されています。

マイクロフォーカス社同様オラクル社でも非常に広範囲をサポートするツールセットが準備されていますが、今回はその中から負荷テスト関連のものをピックアップしてお話頂きました。弊社でもわずかながら負荷テストの経験がありますが、やはり本番に近いデータの再現に非常に苦労した経験からこれらのツールを自由に使いこなせたら非常に強いと感じます。


実は今回ご講演頂いた皆様は元々ASTERのテストツールワーキンググループで一緒に活動をされており、「テストツールまるわかりガイド(入門編)」の著者としても名前を連ねていらっしゃいます。普段からコミュニティでテストツールへの熱い思いをぶつけていらっしゃる皆様のおかげでベンダーの垣根を越えてこのような場を開催できたことを、この場を借りて改めて御礼申し上げます。

「じどうかの窓口セミナー」は、今後も隔月くらいのペースで開催予定です。
次回は4月中旬〜下旬、「TaaS (Testing as a Service)」をテーマとして開催予定ですので、お楽しみに!

じどうかの窓口。公式サイトには随時新しいツールの情報を追加しております。ぜひご覧ください。

ソフトウェアテストに関するお悩みなど、まずはお気軽にお問い合わせください。

  • お問い合わせフォーム【お問い合わせはコチラ】
  • 電話でのお問い合わせ【0120-142-117】