.gitingoreに書いておくのを忘れたり、リモートリポジトリにPushしたあとからいらなくなったけど、ファイル自体はローカルには残しておきたい場合。
ファイル単体
git rm --cached ファイル名
ディレクトリごと
git rm -r --cached ディレクトリ名
して、add して commit して push すると、リモートリポジトリからファイルは消えています。
次回以降もコミット対象外にするため.gitingoreに追記しておくのを忘れないように。
参考:Gitでファイルを削除する | アルミナ解析室