成立于1889年的谢菲尔德联队最初是隶属于谢菲尔德板球联队。1889年,谢菲联板球俱乐部球场主办了英国足总杯的半决赛,那场比赛为俱乐部带来了576英镑的收入,这在当时是非常可观的收入了,于是成立一支足球队的想法由此而生,当年5月,谢菲联足球队就此产生。
1892年,谢菲联参加了英足总新创立的乙级联赛并在当年升入甲级。1896/1897赛季他们获得了甲级联赛的亚军,次年获得了冠军,那也是这支百年俱乐部历史上惟一的一次顶级联赛冠军。谢菲联在足总杯的成绩要好于联赛,他们在1899年、1902年、1915年和1925年四夺足总杯。
在上世纪80年代初,谢菲联陷入低谷,一度跌落到丁级联赛中。但在1992年,谢菲联也是参与创立英超的俱乐部,当年他们排在英超的第14位,但次年就从英超降级,从此一直在英甲当中征战。近年来的最好成绩是在2002/2003赛季的联赛杯里,他们打入了半决赛,最后负于利物浦。2002/2003的英甲联赛他们打到了第三名,但在升级附加赛的最后一场中被狼队淘汰。