Родился 12 июля 1937 года в Ишимбае (Башкирия).
После смерти матери в 1947 году переехал к бабушке в Ульяновскую область, где окончил школу, в ней же работал лаборантом. В 1954 году уехал в Салават, где работал слесарем-монтажником. С детства проявил актёрские способности, участвовал в самодеятельности, занимался во дворце культуры в танцевальном, вокальном и драматическом кружках.
В 1955 году поступил в ГИТИС (мастерская И.М. Раевского). А.А. Гончаров пригласил его, ещё студента 4-го курса, в Московский драматический театр (на Спартаковской площади).
В 1962 году театр переехал на Малую Бронную, здесь Грачёв проработал до 1993 года.
В 1967 году в театр пришёл А.В. Эфрос. С этим режиссёром связаны лучшие работы Грачёва. «Эфрос был и остался для меня самым главным ориентиром в искусстве», — признавался артист.
После открытия в 1993 году театра «Et cetera» под руководством А.А. Калягина был приглашён на роль Серебрякова в "Дядя Ваня" А.П. Чехова в постановке А. Сабинина и остался работать в этом театре. Играл в спектаклях в антрепризе М.М. Козакова.
С 1957 года снимался в кино (более 40 фильмов), сыграл Самозванца в Борисе Годунове А.С. Пушкина, поставленном Анатолием Эфросом на телевидении.
Народный артист России (1998).
Анатолий Грачёв ушёл из жизни в Москве 19 мая 2005 года. Похоронен актёр на Перепечинском кладбище, участок № 13.
роли в кино
2003-2004 Бедная Настя :: министр Канкрин
2002 Виллисы :: эпизод
2001 Саломея :: полковой командир
1999 Ужин в четыре руки :: Иоганн Кристоф Шмидт
1990 Враг народа - Бухарин :: Климент Ефремович Ворошилов
1989 Свой крест
1989 Зелёный огонь козы
1989 Женщины, которым повезло :: Игорь Валерьянович Колобков
1989 Бывший папа, бывший сын :: Семен Матвеевич
1988 Шут :: отец Вали
1988 Автопортрет неизвестного :: Григорий Семенович Мануйлов
1987 Мужские портреты :: Аркадий Филюгин
1987 Любящий вас Коля (фильм-спектакль) :: Савва Морозов
1986 Равняется четырем Франциям (фильм-спектакль) :: Владлен Семёнович Синилкин
1986 Где ваш сын? :: милиционер
1985 Ради нескольких строчек :: капитан Буренков
1985 Внимание! Всем постам... :: Иван Алексеевич
1984 Репортаж с линии огня :: Меркулов Иван Анисимович :: главная роль
1984 Два гусара :: Лухнов :: главная роль
1983 Признать виновным :: Игорь Борисович Владимиров
1982 С кошки всё и началось... :: папа Галки
1982 Детский мир :: Вадим Петрович
1981 Февральский ветер1981 Остаюсь с вами :: Аркадий Гайдар :: главная роль
1980 Тайна Эдвина Друда (фильм-спектакль) :: Криспаркл
1980 Мелочи жизни :: Саша Бунин :: главная роль
1980 Алые погоны :: полковник Ковалев
1979 Что-то с телефоном (короткометражный) :: Вадим Николаевич :: главная роль
1979 Крутое поле
1979 Ватага «Семь ветров» (фильм-спектакль)
1979 Варвары (фильм-спектакль) :: Егор Петрович Черкун
1978 Проводы :: Яранцев
1978 Последний шанс :: Николай Сергеевич Глушко
1977 Последняя двойка :: Павел Петрович
1977 Кто за стеной? (короткометражный) :: Игорь Михайлович Лужков
1977 Гарантирую жизнь :: тренер
1976 Судьба барабанщика :: Платон Половцев
1976 Слово для защиты :: прокурор
1976 Мое дело
1976 ...И другие официальные лица :: Игорь Николаевич Толкунов
1975 Светлые ожидания (фильм-спектакль)
1975 Волчья стая :: Левчук :: главная роль
1974 Всадники на станции Роса (фильм-спектакль)
1973 Человек со стороны (фильм-спектакль) :: Алексей Георгиевич Чешков
1973 Олег и Айна | Oļegs un Aina :: Олег Щербаков :: главная роль
1973 Мальчишку звали Капитаном :: Павел Бадаев
1973 В номерах (фильм-спектакль) :: Вася
1972 Будденброки (фильм-спектакль) :: Грюнлих
1971-1972 Следствие ведут Знатоки :: Михаил Токарев
1970 Море в огне
1970 Борис Годунов. Сцены из трагедии (фильм-спектакль) :: Григорий Отрепьев
1969 Варькина земля :: Шура Гребенюк
1968 Жажда над ручьем1967 Весна на Одере :: Василий Максимович Чохов :: главная роль
1966 Нет и да
1966 Кола Брюньон (фильм-спектакль) :: Рабине
1965 Любимая :: шофер
1961 В трудный час
1961 Алёнка :: Егор
1957 К Чёрному морю :: Юра Дрожжин
участие в фильмах
2002 Чтобы помнили... (документальный)