1896年，第1屆奧運會召開前，國際奧委會曾通過法國駐華使館向清政府發出邀請。但當時的清政府正處于內憂外患之中，對體育事業毫不關心，所以沒有應邀參加。1922年，國際奧委會選舉我國王正廷為國際奧委會委員。1924年，中國第一個全國性體育組織--中華全國體育協進會成立。同年派出三名網球運動員，在法國巴黎舉行的第8屆奧運會上作了表演賽(奧運會無正式網球賽)。4年后，中國又派宋如海觀光了在荷蘭阿姆斯特丹舉行的第9屆奧運會。1931年，國際奧委會承認中華全國體育協進會。此后，中國正式參加了第10、11、14屆奧運會，但均未能取得任何成績。在此期間，國際奧委會于1939年、1947年選出了我國孔祥熙、董守義為國際奧委會委員。
1949年，新中國成立后，原中華全國體育協進會改組為中華全國體育總會(中國奧林匹克委員會)。1952年第15屆奧運會時，由于國際奧委會某些人在中國席位問題上有意制造事端，致使我遲至7月才接到國際奧委會的邀請。待我國派出的由足、籃球隊與游泳選手組成的40人代表團，到達赫爾辛基時，比賽已近尾聲，僅吳傳玉一人參加了仰泳比賽。但是，國際奧委會一直拖延解決我中華全國體育總會在該會的合法席位問題，直到1954年在雅典召開的國際奧委會第49屆會議上才得到確認。1956年，國際奧委會在某些人操縱下，仍蓄意制造"兩個中國"。同年11月6日，中華全國體育總會發表聲明，宣布不參加第16屆奧運會，以示抗議。1958年，我國中斷了與奧委會的一切聯系。
1979年11月26日，國際奧委會在洛桑宣布，經過國際奧委會全體委員通訊表決，以62票贊成，17票反對，通過了國際奧委會執委會前此于10月在名古屋作出的承認中國奧委會為全國性奧委會的決定。中國體育代表團參加大會時，使用中華人民共和國國歌和國旗。同時，為了照顧臺灣的現實情況，仍將臺北的奧委會作為中國的一個地方機構，以"中國臺北奧委會"名稱保留在國際奧委會內，但必須使用有別于迄今使用的歌曲、旗幟和會徵。至此，國際奧委會同我國的關系，才得到了解決。
1980年，新中國第一次派隊出席了在美國普萊西德湖舉行的第13屆冬季奧運會。男女運動員共28人，參加了滑冰、滑雪和現代冬季兩項等18個單項的比賽。但與世界先進水平差距較大，無一人進入各項前十名。我國未參加同年在莫斯科召開的夏季奧運會。1981年10月，國際奧委會第84次會議選出了我國何振梁為國際奧委會委員。
中國參加奧運會情況--
中國于1984年重返奧運會，并實現了中國在奧運會歷史上金牌零的突破。至1996年，中國共在奧運會上奪得52枚金牌。中國在奧運會上的傳統強項為男子體操、跳水、乒乓球、女子競走、射擊、女子游泳等。
1984年，在美國洛杉磯舉行的第23屆奧運會上，中國運動員徐海峰為中國奪得男子手槍速射金牌，實現了中國在奧運史上金牌零的突破。在這屆奧運會上，中國隊共奪得15枚金牌，列金牌總數第4。
1988年，在韓國漢城舉行的第24屆奧運會上，中國運動員共奪得5枚金牌。
1992年，在西班牙巴塞羅那舉行的第25屆奧運會上，中國運動員共奪得16枚金牌，列金牌總數第4。
1996年，在美國亞特蘭大舉行第26屆奧運會上，中國運動員共奪得16枚金牌列金牌榜第四名。還奪得銀牌22枚，銅牌12枚，獎牌總數50枚。
2000年，在澳大利亞悉尼舉行第27屆奧運會上，中國運動員共奪得28枚金牌。
