Родился 27 октября 1927 года в городе Рамонь Воронежской области.
В 1944-1947 годах учился в Московском энергетическом институте, в 1951 году окончил Московский авиационный институт. Работал в лаборатории МАИ, старшим инженером Московского радиоцентра.
В 1958 году окончил Высшие режиссёрские курсы при к/с «Мосфильм», где учился вместе с Георгием Данелией. В том же году, за драку в ресторане был осуждён. После возвращения попытался вернутся к режиссуре. Но человеку с запятнанной репутацией доверяли только быть сорежиссёром. Благодаря поддержке и настойчивости Данелии, удалось спустя несколько лет получить разрешение на самостоятельную постановку «Джентльменов удачи». В соавторстве с писательницей Викторией Токаревой и Георгием Данелией, обработал сценарий Валентина Ежова (известного по сценарию «Белого солнца пустыни») для фильма «Джентльмены удачи». Знаменитые жаргонные фразы добавил в фильм сам Александр Серый — пригодился тюремный опыт. К сожалению, съёмки такой долгожданной картины Серый начал в глубокой депрессии — врачи поставили ему диагноз «лейкемия крови». Некоторые эпизоды картины Данелия был вынужден взять на себя — сцена в тюрьме («Хулиганы зрения лишают»)и финал. Успех картины был оглушительный, две копии смогли выполнить годовой план.
В последующие годы режиссёр поставит ещё две комедии — «Ты — мне, я — тебе» (1976) и «Берегите мужчин» (1982). В 1980-х годах хотел снять продолжение "Джентльменов удачи", но актёры отказались «входить второй раз в реку».
