Altキーによるショートカットは自分で実装するべきものか？

お世話になります。

現在VB.NETで開発しています。
ボタンのテキストに&Buttonとすると
Bのところに下線が引かれるようになりますよね？
これって「Alt+B」でボタン押下と同じ意味になると
思ってたのですが「B」だけ押下してもボタンを
クリックしたと同じような動作になってしまいます。

Altボタンと同時に押下しないとだめな様に
するにはコードによる制御が必要なのでしょうか？

開発環境：VB.NET2003
OS：XP