بدأت فكرة تكوين المجلس الأولمبي الآسيوي في مارس 1947 عبر الهندي جواهر لال نهرو الذي أصبح أول رئيس لوزراء بلاده لاحقًا.
وكان الهدف من المجلس، جمع الشعوب الآسيوية في دورة ألعاب خاصة بهم، على غرار الألعاب الأولمبية الدولية.
واستغل الهندي جورو سوندي عضو اللجنة الأولمبية الدولية، احتضان لندن ثاني دورة ألعاب أولمبية في تاريخها في أغسطس 1948، ليوجِّه دعوات إلى لجان أولمبية آسيوية لعقد اجتماع في فندق "مونت رويال" في العاصمة البريطانية.
وفي ذلك الاجتماع، تم التوقيع على إنشاء "الاتحاد الأولمبي الآسيوي"، ومقره نيودلهي، العاصمة الهندية، واختير يافنداندرا سينج رئيسًا له، والفلبيني فاراجاس نائبًا له، أما سوندي صاحب الدعوة فأصبح الأمين العام.
ونجح الاتحاد الوليد في إطلاق دورة الألعاب الأولمبية الآسيوية الأولى عام 1949، وظل ينظم هذه الدورات حتى عام 1982 عندما تم إنشاء "المجلس الأولمبي الآسيوي" برئاسة الكويتي فهد الأحمد الصباح.