复合材料使用的历史可以追溯到古代。从古至今沿用的稻草增强粘土，用石灰沫墙其中掺入麻刀和头发以防开裂。它们都是由两种或两种以上的材料复合而成。国际权威期刊《科技考古》（Archaeometry）曾发表最新研究成果提到，研究人员在秦兵马俑上新发现了一种多用途的复合材料，这种材料被广泛用于兵马俑制作中的填补、粘接、抹平等工艺中。
当然，我们现在所说的复合材料不是指这些，而是指二十世纪40年代以后发展起来的新的复合材料，有时称为先进复合材料。
20世纪40年代，因航空工业的需要，发展了玻璃纤维增强复合材料（俗称玻璃钢），从此出现了复合材料这一名称。50年代以后，陆续发展了碳纤维、石墨纤维和硼纤维等高强度和高模量纤维。70年代出现了芳纶纤维和碳化硅纤维。这些高强度、高模量纤维，能与合成树脂、碳、石墨、陶瓷、橡胶等非金属基体或铝、镁、钛等金属基体复合，构成各具特色的复合材料。这些材料广泛应用于汽车、航空航天、工业制品、轨道交通、运动器械、风电等行业，并发挥了不可替代的作用。
