武德六年（623年）七月，原投降唐朝的农民起义军将领杜伏威、辅公祏二人不和，辅公祏乘杜伏威入朝之际，窃据丹阳（今江苏南京），举兵反唐。李渊命李孝恭为帅，李靖为副帅，率李勣等七总管东下讨伐。辅公祏派大将冯惠亮率三万水师驻守当涂，陈正道率二万步骑驻守青林，从梁山用铁索横亘长江，以阻断水路。并筑造建月城，绵延十余里，以为犄角之势。李孝恭召集诸将议军事，诸将都说：“冯惠亮、陈正通都掌握了强大的兵力，是想守险不战，因此构城筑垒而固守，仓猝之间是不能攻取的。不如直指丹阳，掩袭辅公祏的巢穴，丹阳一旦攻破，冯惠亮等人自然不战而降。”
李孝恭想采纳诸将的意见。李靖透辟地分析了敌方形势，认为“辅公祏的精锐兵力，虽然集中在水、陆二军，然而他自己统帅的军队，也都是骁勇的士卒。冯惠亮等驻守的城栅尚且不能攻取，辅公祏已经固守的石头城，难道是可以轻易攻取的吗？如果我军直奔丹阳，旬月之间都不能攻下而滞留在那里，前面的辅公祏没有平定，后边的冯惠亮也是一大隐患，这样我们就会腹背受敌，恐怕不是万全之计。冯惠亮、陈正通都是身经百战的贼将，决不会害怕野战，只因为辅公祏立下计谋，命令他们持重防守，只想不出战拖延时间使我军疲劳。现在如果我们进攻冯惠亮、陈正通的城栅，就可以打他个出其不意，消灭敌贼的机会，只在此一举。”
李孝恭赞同李靖的意见。李靖于是率黄君汉等将领先攻打冯惠亮，苦战击破冯惠亮，叛军被杀伤和溺死者万余人，冯惠亮败走。李靖率轻兵先至丹阳，辅公祏大惧，派遣将领左游仙领兵守会稽作为援助，辅公祏拥兵东走，去往游仙，到了吴郡，辅公祏、冯惠亮、陈正通相次被擒获，江南悉平。李渊为了嘉奖李靖的军功，赐物千段，并赐奴婢一百口，良马一百匹。设立东南道行台，授任他为行台兵部尚书。李渊十分钦佩他的军事才干，极口赞叹说：“李靖乃萧铣、辅公祏的膏肓之病，古代名将韩信、白起、卫青、霍去病，没有一个能比得上李靖！”
江南的局势安定以后，北方的形势又一时紧张起来。隋末唐初，突厥势力强大，李渊太原起兵时，曾向突厥始毕可汗称臣，以换取北方的相对安定。唐朝建立后，突厥一方面支持薛举、刘武周等割据势力，与唐朝分庭抗礼；另一方面，又自恃兵强马壮，不断举兵南下侵扰。在平定江南中功勋卓著的李靖又被调到北方，以反击突厥。武德八年（625年）八月，突厥颉利可汗率十余万人越过石岭，大举进犯太原。李渊马上命李靖为行军总管，统率一万多江淮兵驻守太谷，与并州总管任瑰等迎击敌人。由于突厥来势凶猛，诸军迎战多失利，任瑰全军覆没，唯李靖军得以保全。不久，又调李靖为灵州道行军总管，以抗击突厥。武德九年（626年）八月，李世民刚刚登基，颉利可汗便乘唐朝皇帝更替之机，率十几万精锐骑兵再次进犯泾州，并长驱直入，兵临渭水便桥之北。颉利可汗不断派精骑挑战，还派其心腹执失思力入朝，以观察虚实。当时征调的诸州军马尚未赶到，长安市民能拿兵器打仗者也不过几万人，形势十分危急。在此种情况下，李世民曾冒险亲临渭水桥，与颉利可汗结盟，突厥才退兵。事后，李世民擢任李靖为刑部尚书兼行太子左卫率，赐实封食邑四百户。不久后，李靖转任兵部尚书。此后不久，国内突厥发生了变乱，所属薛延陀、回纥、拔野古诸部相继叛离，又恰遇暴风雪，羊马死亡甚多，因而发生了饥荒，族人纷纷离散。贞观三年（629年）八月，李世民接受了代州都督张公瑾的建议，决定出击，突厥命兵部尚书李靖为定襄道行军总管，以张公瑾为副，发起了强大的军事攻势。又任命并州都督李勣、华州刺史柴绍、灵州大都督薛万彻等为各道总管，统率十几万军队，分道出击突厥。贞观四年（630年）正月，朔风凛冽，李靖率领三千精锐骑兵，冒着严寒，从马邑出发，向恶阳岭挺进。颉利可汗万万没有想到唐军会突如其来，兵将相顾，无不大惊失色。他们判定：如果唐兵不倾国而来，李靖决不会孤军深入，于是“一日数惊”。李靖探知这一消息，密令间谍离间其心腹，其亲信康苏密前来投降。李靖迅即进击定襄，在夜幕掩护下，一举攻入城内，俘获了隋齐王杨暕之子杨政道及原炀帝萧皇后，颉利可汗仓皇逃往碛口。李靖因军功进封代国公，增加食邑三千户，赐物六百段及名马、宝器等。李世民高兴地对大臣说：“汉朝李陵带领五千步卒进攻匈奴，最后落得归降匈奴的下场，尚且得以留名青史。李靖以三千骑兵深入敌境，攻克定襄，威振北狄，这是古今所没有的奇勋，足以雪往年在渭水与突厥结盟之耻。”
在李靖胜利进军的同时，李勣也率军从云中出发，与突厥军在白道遭遇。唐军奋力冲杀，把突厥军打得溃不成军。颉利可汗一败再败，损失惨重，遂退守铁山，收集残兵败将，只剩下几万人马。颉利可汗处于山穷水尽的境地，他派执失思力入朝请罪，请求举国归附唐朝，并表示愿意入朝。其实，他内心尚犹豫未决，意欲赢得时间，以苟延残喘，俟草青马肥之时，逃到大漠以北，以卷土重来。同年二月，李世民派鸿胪卿唐俭、将军安修仁去抚慰颉利可汗，李靖揣摩到李世民这样做的真实意图，对张公谨说：“使者到了颉利可汗那里，突厥必定会放松戒备。我们就乘此良机，选拔精骑一万，携带二十天的军粮，带兵从白道袭击突厥。”
张公谨说：“陛下已经下诏准许颉利可汗归降，朝廷派去的使者也在那里，恐怕不宜去讨伐进击。”
李靖说：“这正是用兵的良机，时机不可错过，这就是韩信之所以消灭齐国的道理。像唐俭等使者即使因此遭到不测，又有什么可惜的呢。”
李靖率军进至阴山，遇到突厥斥候千余帐，一战而全部俘获，命与唐军同行。这时，颉利可汗见到唐使臣，放松了戒备。唐军前锋苏定方率领的两百余骑又乘着大雾，悄然疾行，直到距牙帐七里远的地方才被发觉。如同惊弓之鸟的颉利可汗慌忙骑马逃走，突厥军也四散而逃。李靖大军随之赶到，杀敌一万余人，俘虏十几万，缴获牛羊数十万只（头），并杀死隋义成公主。颉利可汗率万余人想北过大漠，在碛口受李勣所阻，不能北逃，其大酋长皆率众投降。不久，颉利可汗被大同道行军总管、任城王李道宗擒获，并送到京师。突厥从此宣告灭亡。自隋朝以来，突厥是西北的强国。李靖等灭亡突厥，不仅解除了唐朝西北边境的祸患，而且也洗刷了李渊与李世民向突厥屈尊的耻辱。因此，李世民颇有感慨地说：“我听说君主忧愁臣觉得耻辱，君主受辱臣甘愿赴死。从前大唐草创之时，太上皇因为百姓的缘故，向突厥称臣，我为此常常痛心疾首，立志要剪灭突厥，为此坐不安席，食不甘味。现在只暂时调动一部分军队，就无往不胜，使单于归顺，终于洗雪当年称臣的耻辱！”
太上皇李渊也欣喜万分，他把李世民及贵臣十几人，还有诸王、王妃、公主等召至凌烟阁，设宴庆祝。李渊一时兴起，还亲自弹起了琵琶，李世民起舞，大臣们也接连起身举杯祝贺，一直延续到深夜。李靖虽在战场上勇猛善战，叱咤风云，但却性情沉厚。事后，御史大夫萧瑀劾奏李靖治军无方，在袭破颉利可汗牙帐时，一些珍宝文物，都被兵士抢掠一空，请求司法部门予以审查。李世民狠狠地训责李靖，李靖叩首谢罪。过了好久，李世民对李靖说：“隋朝的将领史万岁打败了达头可汗，可是隋朝不予奖赏，因此导致灭亡。朕就不是这样，应当赦免你治军无方的罪，记录你击败突厥的功勋。”
于是下诏加封李靖为左光禄大夫，赐绢千匹，增加封地连同以前的达到五百户。不久，李世民又对李靖说：“以前有人诽谤你，现在朕已经明白了真相，你千万不要把这事放在心里。”
这时又赐给李靖绢二千匹，提升他为尚书右仆射。李靖生性沉稳厚重，平时与朝臣一起参议国事时，总是恭谨温顺，像是不会说话一样。