劉遵義教授於 1964 年以優異成績獲得史丹福大學物理學學士學位，其後分別於 1966 年和 1969 年獲得加州大學伯克利分校經濟學碩士和博士學位。他於 1976 年成為經濟學教授，並於 1992 年被任命為斯坦福大學首位李國廷經濟發展教授。2006年從斯坦福大學退休后，他成為李國廷經濟發展榮休教授。2004 年至 2010 年，劉教授擔任香港中文大學校長，2010 年至 2014 年，他擔任建造業國際（香港）有限公司主席。自 2007 年起，他同時擔任香港中文大學 Ralph and Claire Landau 經濟學教授席。
劉教授是計量經濟學會會士、中央研究院院士和中國社會科學院榮譽院士。他曾獲香港科技大學、創價大學、早稻田大學、國立中央大學、復旦大學及香港中文大學頒授榮譽博士學位。彼亦擔任友邦保險控股有限公司、中國海洋石油有限公司、希慎興業有限公司、中芯電路製造國際有限公司及遠傳電訊有限公司之獨立非執行董事。 有限公司。