Родился 16 февраля 1923 года в Варшаве в семействе музыкантов. В Москве он продолжил музыкальное образование, которое завершил окончанием Консерватории.
В военные годы молодой певец, будучи студентом консерватории, активно участвовал во фронтовых концертах. М.П. Рыба обладал редким певческим голосом — бассо-профундо, за пределами Союза был известен как "советский Поль Робсон".
Широкому слушателю голос певца известен по звучанию в фильмах "Последний дюйм", "Карнавальная ночь", "Тихий Дон", мультфильмах "Мойдодыр", "Самый, самый, самый, самый...".
