奥运会模式的残疾人运动会于1960年首次出现在罗马，参加者仅仅是身体残疾者，特别是脊椎伤残者。但1976年在加拿大多伦多举办第5届残疾人运动会时，盲人和截肢者也开始加入进来，人们开始感到有必要成立一个残疾人的国际体育组织。

1989年9月22日，国际残奥委会在德国成立。该会自2000年起与国际奥委会达成合作协议，取得奥运主办权的城市也需举办残奥会。