во первых надо прекратить пользоваться ftp навсегда. забыть о нем нафиг.
во вторых надо прекратить вообще заходить на сервер руками, кроме крайне необходимых случаев - деплой к такому случаю не относится
в третьих, надо разделить код и данные на отдельные директории. немного поясню, картинка логотипа в панели управления - это "код", загружаемое пользователем сайта фото это "данные"
в четвертых, надо научиться из гита получать архив с кодом, готовый для разворачивания на сервере одной распаковкой (и, возможно, одним запуском шелл-скрипта из этого архива). вместо архива может быть пакет (.rpm/.deb), если очень хочется
