Visual Studio Code имеет встроенную возможность взаимодействовать с вашими репозиториями на GitHub.com. Что от вас требуется, так это произвести первоначальную настройку при помощи Git for Windows. После этого VS Code вполне в состоянии сориентироваться в происходящем и предоставить вам возможность добавлять новые файлы, производить инициировать операцию commit и т.д.
С чем могут возникнуть сложности, так это с синхронизацией изменений непосредственно с GitHub.com.
ssh
Подключение Git Bash к GitHub.com с использованием SSH
Эта статья подразумевает, что у вас уже есть учетная запись на github.com, вы скачали и установили Git Bash с сайта git-scm.com и теперь хотите работать со своими репозиториями, используя SSH.
Собственно о том, как настроить этот самый SSH и пойдет речь в этой статье.