Windows 7では、レジストリの変更だけでできたと思っていましたが、Windows 8.1ではレジストリの変更だけではできませんでした。
検索したところ、以下の記事を見つけました。
Windows 8.1ミニTips (97) USBメモリーやUSB HDDへの書き込みを禁止する(ポリシー編) | マイナビニュース
こちら記事では書き込みを禁止していますが、「リムーバブルディスク: 書き込みアクセス権の拒否」ではなく「すべてのリムーバブル記憶域クラス: すべてのアクセスを拒否」で同じ操作をすれば、エクスプローラには表示されますが、アクセスは全くできなくなりました。
USBメモリをさしたときに、エクスプローラが自動で起動することもなくなりました。
こちらの方法が、レジストリを操作するよりわかりやすいです。