ユーザビリティの大家ヤコブ・ニールセン氏は5人のユーザーテストで85%の問題点が見つかると発表しました。
→5ユーザでテストすれば十分な理由(外部リンク・別ウィンドウが開きます)
ユーザーテストを実施したことが無い、もしくは問題点だらけのウェブサイトの場合、同質の被験者3人でも70%近くの問題点が発見され、それを直すだけでもかなりの改善が見込めると思っています。
氏も仰るように、予算の許す限り、数多くのユーザーテストを実施することをお勧めします。
見つけた問題を改善し、それをクリアすることで次のユーザーテストでは他の問題が発見されるでしょう。
とあるサイトでは買い物かごへ入れる、というボタンの位置が解りづらいために3人のユーザーテストで2名が間違うことが判明しました。そして、その他試しに操作してもらったユーザーも半数以上がそのボタンで迷いました。
買い物籠の色や位置を直した上で再度ユーザーテストを実施したところ、配送料の表記がわかりにくい、ということが解りました。
このように、小さくても数度テストをすることで徐々に問題点が判明していくというのが解っています。0人のユーザーテストでは何も判明しません。少ない人数でも回数を重ねることが重要なのです。