Apenas uma dica rápida para ajudar o desmemoriado aqui e vai que de lambuja acabo ajudando outras pessoas que tenham a mesma dúvida que eu também: Dei um commit em um de meus projetos no Github e só depois disso percebi que algumas pastas e arquivos não precisavam ficar assim lá disponíveis publicamente, então obviamente, precisei removê-los do repositório remoto, porém em minha máquina local eu preciso que elas continuem.
Segue aqui então um pequeno passo-a-passo para resolver esta situação:
1. Primeiramente, vamos nos certificar de que o repositório local está sincronizado com o repositório remoto (aqui estamos nos baseando de que o branch atual seja o master):
$ git pull origin master
2. Vamos então remover a pasta e/ou os arquivos:
$ git rm -r Arquivo Pasta
3. Em seguida fazemos o commit da modificação:
$ git commit -m "Remove Arquivo e Pasta"
4. E finalmente: sincronizamos com o repositório remoto:
$ git push origin master