成立于1889年的谢菲尔德联队最初是隶属于谢菲尔德板球联队。1889年，谢菲联板球俱乐部球场主办了英国足总杯的半决赛，那场比赛为俱乐部带来了576英镑的收入，这在当时是非常可观的收入了，于是成立一支足球队的想法由此而生，当年5月，谢菲联足球队就此产生。

　　1892年，谢菲联参加了英足总新创立的乙级联赛并在当年升入甲级。1896/1897赛季他们获得了甲级联赛的亚军，次年获得了冠军，那也是这支百年俱乐部历史上惟一的一次顶级联赛冠军。谢菲联在足总杯的成绩要好于联赛，他们在1899年、1902年、1915年和1925年四夺足总杯。

　　在上世纪80年代初，谢菲联陷入低谷，一度跌落到丁级联赛中。但在1992年，谢菲联也是参与创立英超的俱乐部，当年他们排在英超的第14位，但次年就从英超降级，从此一直在英甲当中征战。近年来的最好成绩是在2002/2003赛季的联赛杯里，他们打入了半决赛，最后负于利物浦。2002/2003的英甲联赛他们打到了第三名，但在升级附加赛的最后一场中被狼队淘汰。