Avraham Toledano nació en Meknes, Marruecos, el 4 de abril de 1948. A los 14 años se unió al Hashomer Hatzair, movimiento juvenil tipo scout que promulgaba la identidad judía y el sionismo. Dos años más tarde, en enero de 1965, decidió, junto con su grupo, ir a Israel. Toledano llegó a su nueva patria falsificando la firma de su padre en un formulario y se instaló en el kibutz Ruhama.

Pronto descubrió su talento para la música, y comenzó a aparecer en el programa de radio Tshuot rishonot, al que envía canciones escritas por él mismo. El compositor Moshe Vilensky, le escucha las canciones en el programa, y lo invita a cantar la canción Zohi Yafo (Sobre Jaffa) que será su primer éxito antes de incorporarse al ejército en la banda militar, lo que no le impidió seguir desarrollando su carrera como cantante, grabando su primer álbum en 1968 todavía en servicio: Avi Toledano con la Orquesta de David Krivoshey. En 1969 participó en el Festival de la Canción Israelí quedando tercero y edita su segundo álbum, Mi padre, en el que interpreta versiones en hebreo del famoso tema de Mary Hopkin Those were the days y de Delilah de Tom Jones. Su éxito le lleva a recibir el premio Cantante del año tres años seguidos desde su debut.

Los años 70 determinan su despegue como estrella internacional: en 1970 actúa en el Olympia de París dentro del espectáculo Gran muestra de música israelí y gana el primer premio en un festival de música infantil con Lama kakha. Al año siguiente debuta en el cine en la película Ariadna, de George Ovadia, en la que también interpreta el tema principal. En 1973 vuelve al Olympia con Serge Lama, representante francés en Eurovisión 1971. Sigue actuando y grabando los años siguientes y firma con la discográfica Philips en 1976 para sus grabaciones en español y francés. Ese mismo año obtiene un éxito arrollador en su actuación en el Madison Square Garden de Nueva York. En 1978 estrena el espectáculo La Bohème, con canciones de Charles Aznavour traducidas al hebreo, con la presencia del cantante francés en el estreno.

Sigue ganando el título de Cantante del año en su país una y otra vez, hasta que en 1982 vence en la final israelí para Eurovisión, quedando en un magnífico segundo puesto en Harrogate con Hora. En 1981 ya había quedado tercero en la preselección hebrea con Carnaval. Será además el autor de Hi, que interpretará Ofra Haza en 1983, quedando en segunda posición también. El mismo volverá a presentarse a la preselección israelí en 1989 volviendo a quedar segundo con Dayenu. Además compondrá muchas de las canciones que interpretarán otros artistas en varias preselecciones israelíes.

En 1983 gano el Festival Shirovisión con el tema Aba. En 1987 protagoniza Los Miserables en Israel. En 1991 la cadena de televisión Reshut Hashidur produjo una película sobre su experiencia de vida en Marruecos que fue un auténtico éxito de crítica y público. Su álbum de 1993, Marocker, refleja igualmente sus raíces en este país. Al año siguiente protagoniza el film Hayerusha que consiguió tres Kinor David (oscars israelíes). En 1995-96 realizó una exitosa gira por los Estados Unidos y Canadá. En 2001 produjo y protagonizó el espectáculo Cafe Paris, en el que interpretaba de nuevo chansons francesas. Tras su álbum de 2005 Baragua, siguen Tu, yo y él (2007) y su recopilatorio francés French collection en 2012. En 2011 participó en el reality show del Canal 24 Hall of fame, siendo eliminado y después repescado, terminando en cuarto lugar al final del programa. En 2014 lanzó el álbum Naked, en el que escribió y compuso la mayoría de las canciones. En 2017 entró en el elenco de la serie de televisión Eighties, en el que permaneció durante tres temporadas.

Avi Toledano se casó con Liora, con la que tuvo tres hijos, uno de ellos es el cantante Tal Toledano. En 1998 se volvió a casar con Hagit Levi, hermana del también cantante Ofer Levi, con la que tuvo otros tres hijos, y se divorciaron en 2014. Su hija Lehi, nacida en 2002, participó en la final nacional israelí para Eurovisión 2020, Hakokhav Haba. Actualmente vive en Gan Yavne.