刘基为浙江省青田九都南田山之武阳村人。青田县在元末属江浙行省处州路，东临温州路，境内多山。南田山在青田县城南一百五十里处。南田山的形势，乃是“万山之巅，独开平壤数十里，号南田福地”。《洞天福地记》中记载说：“古称七十二福地，南田居其一”。刘基天资聪慧，好学习，由父亲启蒙识字。阅读速度极快，据说七行俱下。12岁考中秀才，乡间父老皆称其为“神童”。泰定元年，十四岁的刘基入郡庠（即府学）读书。他从师习春秋经。这是一部隐晦奥涩、言简义深的儒家经典，很难读懂，尤其初学童生一般只是捧书诵读，不解其意。刘基却不同，他不仅默读两遍便能背诵如流，而且还能根据文义，发微阐幽，言前人所未言。老师见此大为惊讶，以为他曾经读过，便又试了其他几段文字，刘基都能过目而识其要。老师十分佩服，暗中称道“真是奇才，将来一定不是个平常之辈！”
一部春秋经，刘基没花多少工夫就学完了。泰定四年，刘基十七岁，他离开府学，师从处州名士郑复初学程朱理学，接受儒家通经致用的教育。郑复初在一次拜访中对刘基的父亲赞扬说：“您的祖先积德深厚，庇阴了后代子孙；这个孩子如此出众，将来一定能光大你家的门楣。”
刘基博览群书，诸子百家无一不窥，尤其对天文地理、兵法数学，更有特殊爱好，潜心钻研揣摩，十分精通。元统元年，二十三岁的刘基赴元朝京城大都参加会试，一举考中进士，元末，兵荒马乱，战火连连，在家闲居三年。至元二年，才被元朝政府授为江西高安县丞（正八品），协助县令处理政务。他勤于职守，执法严明，很快就做出了政绩。他深入乡间，体察民情，发现高安县一些豪绅地主勾结贪官污吏，无法无天，骗人钱财，夺人妻女，杀人害命无恶不作。刘基倾听百姓的哭诉后，义愤填膺，决心为民除害。经过明察暗访，掌握了真凭实据后，对几个劣迹昭著的豪强恶霸，坚决予以严惩，并对县衙内贪赃枉法的官吏也进行了整治，高安县的社会风气很快就有了好转。刘基刚正不阿，一身正气赢得了百姓的赞誉。在任官的五年内，处理地方事务的原则是“严而有惠爱”，能体恤民情，但不宽宥违法的行为；对于发奸摘伏，更是不避强权。因此受到当地百姓的爱戴，但因为他的正直，地方豪绅对他恨之入骨，总想找事端陷害他，幸得长官及部属信任他的为人，才免于祸患。辞官后，刘基返回青田，至正三年，朝廷征召他出任江浙儒副提举，兼任行省考试官。后来因检举监察御史职，得不到朝中大臣的支持，还给他许多责难，他只好上书辞职，任期约一年。至正六年，刘基接受好友欧阳苏的邀请，与欧阳苏一同来到丹徒，在距欧阳苏家附近的蛟溪书屋住下，过了一段半隐居的生活。以教授村里中的子弟读书来维持生活，偶尔和月忽难、陶凯等好友时相往还。至正八年（1348年），刘基结束在丹徒约两年的半隐居生活，再度投入人群。他来到杭州居住，他的夫人为他生下一个儿子，即刘琏。在杭州的四年当中，他和竹川上人、照玄上人等方外之士时相往来，也和刘显仁、郑士亭、熊文彦、月忽难等文士诗文相和。至正十二年七月，徐寿辉攻陷杭州，在攻陷杭州之前，刘基便带着家人回到故乡。回到故乡不久，朝廷来了一封公文。朝廷起用他为江浙省元帅府都事，主要任务是帮助当地政府平定浙东一带的盗贼，特别以方国珍为对象。元左丞帖里帖木儿欲招安方国珍，刘基认为方氏兄弟为首犯，不诛无以惩后。方国珍重赂官府，终被招安，并授以官职，反而谴责刘基擅威福。刘基一怒之下辞官还里，以表对元朝腐败昏聩之不满。至正二十年，被朱元璋请至应天，委任他为谋臣，刘基针对当时形势，向朱元璋提出避免两线作战、各个击破建策，被采纳。辅佐朱元璋集中兵力先后灭陈友谅、张士诚等势力。刘伯温并建议朱一方面脱离“小明王”韩林儿自立势力，却另一方面以“大明”为国号来招揽天下义师的民心。此时，陈友谅攻陷太平，意欲东向，气势甚为嚣张。朱元璋帐下各位大将，有的劝朱元璋投降，有的认为必须避其锋芒，再据守南京。朱元璋意犹未决，刘基也沉默不言。朱元璋知其自有见地，遂召入内室与之决策，刘基以为凡言降者或议逃者，应尽诛之，以免扰乱军心。刘基认为，陈友谅骄气冲溢，目空一切，根本不把我们放在眼里，我们应利用其骄傲自满、听不进不同意见的时机，诱敌入伏，一举重创之，灭其锐气。刘基说：“天道后举者胜，吾以逸待劳，何患不克，莫若倾府库，开至诚，以固士心，伏兵伺隙击之，取威制胜，以成王业，在此举也”。正是在吴国初创、百事待兴，又突临强敌、内部看法不一的危难紧急关头，刘基寥寥数语，拨开迷雾，点破形势，议定决策，团结人心，去为完成王业而进取。至正二十七年，参与制定朱元璋的灭元方略，并得以实现。共参与军机八年，筹划全局。吴元年，朱元璋以刘基为太史令，刘基呈上《戊申大统历》。荧惑星出现在心宿位，预示有兵灾祸乱，刘基请求朱元璋下诏罪己。天气大旱，刘基请求处理久积冤案，朱元璋便当即命令刘基予以平反，大雨也就从天而降。刘基趁机请求建立法制，防止滥杀现象。朱元璋这时正要处决囚犯，刘基便问是什么原因，朱元璋将自己所做的梦告诉他。刘基说：“这是获得疆土和百姓的吉象，所以应当停刑等待。”
三日之后，海宁归降，朱元璋很高兴，就将囚犯全部交给刘基释放了。元至正二十七年即皇帝位，定都应天，国号大明。明王朝正式建立，授刘基为御史中丞兼太史令。朱元璋即皇帝位后，刘基上奏制定军卫法。当初确定处州税粮时，仿照宋制每亩加五合，唯独青田县除外，太祖这么说道：“要让刘伯温家乡世代把此事传为美谈。”
太祖巡幸汴梁时，刘基与左丞相李善长一起留守京城。刘基认为宋、元两朝都因为过于宽纵而失天下，所以应该整肃纲纪，于是便下令御史检举弹劾，不要有任何顾忌，宿卫、宦官、侍从中，凡犯有过错的，一律奏明皇太子，依法惩治，因此人人都畏惧刘基的威严。中书省都事李彬因贪图私利，纵容下属而被治罪，李善长一向私宠李彬，故请求从宽发落，刘基不听，并派人骑马速报太祖，得到批准，刘基便在祈雨时，将李彬斩首。因为这件事，刘基与李善长开始不和。太祖返京后，李善长便向太祖告状，说刘基在坛土遗下杀人，是不敬之举。那些平时怨恨刘基的人也纷纷诬陷刘基。当时正逢天旱，太祖要求诸臣发表意见，刘基上奏说：“士卒亡故者，他们的妻子全部迁往他营居住，共有数万人，致使阴气郁结。工匠死后，腐尸骨骸暴露在外，将投降的吴军将吏都编入军户，便足以协调阴阳之气。”
太祖采纳了他的意见，但十天过后仍不见雨，故而发怒。此时恰好刘基的妻子死了，所以刘基请求告辞还乡。太祖正在营造中都，又积极准备消灭扩廓。刘基临走上奏说：“凤阳虽是皇上的故乡，但不宜作为建都之地。王保保不可轻视。”
不久，定西之役失利，扩廓逃往沙漠，从那时起一直成为边患。这年冬天，太祖亲自下诏，叙说刘基征伐之功，召他赴京，赏赐甚厚，追赠刘基的祖父、父亲为永嘉郡公，并多次要给刘基进爵，刘基都固辞不受。太祖因事要责罚丞相李善长，刘基劝说道：“他虽有过失，但功劳很大，威望颇高，能调和诸将。”
太祖说：“他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。”
刘基叩首说道：“这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”
后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘基很好，可刘基仍极力反对，说：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”
太祖又问汪广洋如何，刘基回答：“他的气量比杨宪更狭窄。”
太祖接着问胡惟庸，刘基又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”
太祖于是说道：“我的丞相，确实只有先生你最合适了。”
刘基谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”
后来，杨宪、汪广洋、胡惟庸都因事获罪。洪武三年，太祖授刘基为弘文馆学士，十一月，大封功臣，又授刘基为开国翊运守正文臣、资善大夫、上护军，封诚意伯，食禄二百四十石。第二年，赐刘基还归家乡。洪武八年，刘基虽然不良于行，仍然和所有在京官员一样，参加元旦的早朝，随后在奉天殿做了一首《乙卯岁早朝》，这虽属于歌功颂德的应酬文字，但诗中仍可以看见刘基的心情。据说正月中旬，宋濂的门人刘刚来到刘基的住处，商请刘伯温将宋濂一百多卷的作品，择取精华部分编辑成书，以便诵读，也请刘基为新书写一篇序文。他毫不犹豫地答应了。洪武八年正月下旬，刘基感染了风寒，朱元璋知道了之后，派胡惟庸带了御医去探望。御医开了药方，他照单抓药回来煎服用，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。二月中，刘基抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话，这使刘基相当的心寒。三月下旬，已经无法自由活动的刘伯温，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。几天之后，刘基自知来日无多，找来两个儿子交代后事。交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问。”
又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人和警惕人改过自新的目的；而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”
又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧！”
最后于农历四月十六卒于故里，享年六十五岁。六月，葬于乡中夏中之原。明武宗正德八年，朝廷赠他为太师，谥号文成。明世宗嘉靖十年，刘基的同乡、刑部郎中李瑜向明世宗朱厚熜上疏说：“（刘）基宜侑享高庙，封世爵如中山王（徐）达”，朝廷再度讨论刘基的功绩，并决议刘伯温应该和徐达等开国功臣一样，配享太庙。在这一年，刘基的九世孙处州卫指挥刘瑜袭封为伯爵。