Perry nació el 10 de septiembre de 1950 en Lawrence, Massachusetts. Es hijo de padre de ascendencia portuguesa y madre de ascendencia italiana. Al llegar a Estados Unidos su abuelo paterno que era portugués y originario de la isla de Madeira, cambió el apellido de Pereira a Perry. Joe y su hermana menor Ann-Marie crecieron en el pequeño pueblo de Hopedale en Massachusetts, donde su padre era contador y su madre era maestra de gimnasia en un colegio. Después, ella se retiró a Arizona cuando su esposo murió en 1975.

Comenzó tocando en bares junto a Tom Hamilton. Para pagar los gastos trabajaba en una heladería, llamada The Anchorage, donde conoció a Steven Tyler unos años después y cuyo primer sencillo fue una versión de la canción «I’m down » (The Beatles).

Siendo el guitarrista principal de Aerosmith se separó del grupo por problemas con las drogas y alcohol, a lo que se unió una pelea entre su esposa y la esposa del bajista de la banda, Tom Hamilton. Desde el año 1979 hasta el año 1984, y junto a su compañero Brad Whitford, formó un grupo bajo el nombre de «The Joe Perry Project» que tuvo escasa popularidad y éxito. A mitad de los ochenta se reencontró con sus ex compañeros de Aerosmith. Desde el año 2015 integra la banda Hollywood Vampires con Alice Cooper y Johnny Depp, dedicada a rendir tributo a la música de estrellas de rock fallecidas en los años setenta.

Entre sus últimos trabajos en solitario Joe publicó un álbum titulado «Joe Perry». Gracias a este trabajo fue nominado a un Grammy.

Es considerado por buena parte de la crítica como uno de los mejores guitarristas de Rock del mundo. Ha tocado con celebridades como Bon Jovi, Guns N’ Roses, Poison, AC/DC, Kiss, Bob Marley, Alice Cooper, Mick Jagger, Run DMC, Van Halen, entre otros. Joe Perry quedó en el puesto 84 en Lista de los 100 guitarristas más grandes de todos los tiempos .