战争打到这个份儿上，大清朝廷除了去向日本政府求和，再没有更好的办法了，即派尚书衔总理衙门大臣、户部左侍郎张荫桓，头品顶戴署湖南巡抚邵友谦为全权大臣前往日本与日本政府议和。日本政府以他两人官位低不与相谈，要求中国政府须派十足全权，名为最尊，素有声望者方能开谈，就停战议和，日本方面提出赔偿兵费，朝鲜独立，商让土地等条件，要求来议和者必须具有办理条约画押之全权，点名要奕䜣和李鸿章这样的显赫大臣为大清政府的全权代表来日本议和。奕䜣是皇家亲贵，堂堂王爷，不可能出使这等非常屈辱的议和谈判，自然李鸿章就成了前去日本议和的不二人选。清朝政府已无二途，只得恢复李鸿章的原职，重新启用李鸿章。李鸿章知道这是日本人故意要羞辱他，也知道向日本政府求和的担子有多么的重，谈判会多么的艰难，可是圣旨难违，为了国家，为了朝廷，他只有忍辱负重，旁无他法。
大清政府对于日本方面的提议进行了细致的研究，知道再与朝鲜维持宗藩的关系已是没有可能了，赔款也是无可避免，只是割地一项，从光绪皇帝到朝中大臣，谁都不愿意明确同意，更多的大臣表示坚决反对。李鸿章作为中国方面议和谈判的首席代表，更知道此事的要害，连日拜访各国驻中国公使，请听他们的意见，请求他们出主意，帮助中国政府渡过这一难关。因为日本军队侵占了辽东半岛，直接侵犯了俄国政府在中国的利益，俄国驻中国大使碦西尼非常的气愤，声言强大的俄国决不容日本这样下去，有能力帮助中国保住中国的领土完整，只是要有条件，他才能向俄国政府提出来，他说：“一、日本入侵中国，侵犯了俄国远东的利益，中国和俄国应该联合起来，在军队、军火、粮食诸方面互相援助，战争期间，中国的所有口岸均向俄国兵舰开放。二、中国允许俄国修建从黑龙江、吉林到海参崴的铁路，无论何时都允许俄国使用这些铁路运兵、运粮。”李鸿章遵循慈禧太后联合俄国，影响日本的意图，企图倚仗俄国的势力以维护中国领土的完整，希望俄国政府能以外交手段影响中日和谈进程，让中国方面在议和谈判中取得更多的胜算，私下与碦西尼达成秘密协议。李鸿章经过几天紧张的走访，了解了各国公使的想法，也得到了一些国家政府的同情和支持，李鸿章作为大清王朝的全权代表率领大清朝政府代表团乘船前往日本的马关去向日本政府求和。
1895年3月14日，李鸿章率领中国议和代表团，从天津乘坐德国商船前往日本，三月的日本正是春光明媚的时节，而中国从辽东半岛到山东半岛的大片疆域，却处在兵凶战激的灾难之中，整个中国朝野都笼罩在悲怆的阴云里，已是73岁高龄的李鸿章肩负着与日本乞和的特殊使命，轮舟东渡，骇浪拍心，自然更难有轻松的心情。3月19日，中国代表团到达日本马关，20日便与日本方面在春华楼举行谈判，双方经过外交礼节的寒暄后，进行了全权文凭的互认，李鸿章向日本方面提交了《停战节略》拟稿。第二天，谈判切入正题，伊藤博文宣读了这次谈判的议程和议题。第一个议题是停战，日本谈判代表提出停战的先决条件，把天津、大沽、山海关三个地区为质抵押给日本，然后停战。中国代表认为天津、大沽、山海关不属于日本军队占领区不同意质押。双方代表经过几次争吵、协商，摆事实，讲理由，都不肯让步，连续两次谈判没有谈出结果。于是，李鸿章提出：“既然停战的条件达不成双方的共识，不如暂时放下停战的议题，先谈议和事项。”伊藤博文听后反问：“中堂之意，是否想撤回停战节略？”
李鸿章回答：“是你们所拟定的停战条款，实在难以照办呀！”
李鸿章又向伊藤博文讲了一番大道理，请求伊藤博文再想一个双方都能接受的办法。伊藤博文回答：“我实在是没有别的办法。中堂以贵国计，故来议停战; 我为本国计，停战只有如此办法。”
李鸿章说：“你们提出的停战条件，我方万难应允，姑且搁起。即请会议和款。”
伊藤博文见停战条件很难达成，勃然大怒，猛地站起身用力地一拍桌子，非常傲慢地说：“既然没有诚意，你们把停战协议书拿回去！今后就不许再提停战，等着到北京见吧！”
说完，气冲冲地走出去，日本谈判代表纷纷站起来，收拾自己的东西，恶狠狠地盯着中国的谈判代表，恨不得一口生吞了这些中国人。日本谈判代表和工作人员鱼贯走出谈判厅后，谈判厅内仅剩下了李鸿章与中国代表，双方又一次谈成了僵局。中国代表默默地收拾起谈判的资料随着李鸿章走出谈判厅，外面下着小雨，天气阴沉沉的，乌云压得很低很低，压的人们喘不过气来，简直要窒息了。中国代表的心情像今天的天气一样沉闷的很，没有一个人愿意说话，就连人们细微的呼吸声音都依稀可闻。在返回下榻宾馆的沿途，多次遭到日本人的围堵、抗议和威胁，尽管有日本卫队的保护，中国代表对围上来的日本人还是非常的害怕，突然“啪”地一声枪响，划破了阴雨沉闷的天空，惊醒了所有的人，日本浪人向李鸿章开枪，子弹穿过李鸿章左颧骨下侧，深入到左眼睛下方，李鸿章顿时昏死了过去。
日本人杀害中国谈判代表的消息很快就传到了国内，震惊了中国政府，中国政府向日本政府提出强烈的抗议，中国人愤怒了，国内大小报刊、世界各大报纸纷纷刊文谴责日本政府，巨大的舆论压力全部指向日本，引起了日本政府和日本天皇的高度重视，先后派出最权威的御医和军医前往诊治。经过诊断，都认为只有把子弹取出来，创伤才可以治愈，只是需要静养一段时日，静养期间不可多费心思。李鸿章听了翻译的话，不顾属下的劝导，坚决拒绝开刀治愈，非常着急地说：“国家正是危难当头，停战、议和刻不容缓，我担国家大任，怎能静养，怎能以我一人之私耽误国家之大事呢？”李鸿章坚决不同意立即开刀取出子弹头，医生只得进行消毒缝合伤口，缝合伤口后的第二天，李鸿章穿上血迹斑斑的官服要去参加停战议和的谈判，随行人员考虑到李鸿章刚刚受过枪伤，再三劝阻他参与谈判，请以贵体为重。李鸿章潸然泪下，他知道属下的用心，更知道自己肩负的担子有多重，哽咽着对属下说：“我奉旨来日本，就是要为国家负责，为朝廷负责，尽我最大的努力为我的国家争取到最低的损失。我之生死不足惜，如果我死去能对国家有益，我李鸿章心甘情愿，义不容辞地去死。”
李鸿章不顾同僚的苦苦劝阻，身穿着血迹斑斑的官服，用纱布和胶布包缠着半个脸，威严地端坐在谈判席上，他强忍着伤口的疼痛，微闭着双眼，倾听着谈判的条款，不时地以点头或摆手表示同意或不同意，经过非常艰难的谈判，双方反复争论，中国代表软硬兼施，顶住日本代表的蛮横态度和无理要求，寸步不让。
1895年4月7日，伊藤博文派人把日方拟好的停战议和条约的底稿送达李鸿章，条约大纲分四大项：一、同意朝鲜自治。二、割地给日本。三、赔偿日本军费。四、开放通商口岸，给予日本最惠国待遇。李鸿章和中国代表经过仔细研究后，除了第一款可以接受外，其余三款全部驳回。4月15 日，李鸿章另拟一稿条约送达伊藤博文，日本方面也一一驳回，4月16日，伊藤博文又派人送来条约的修订稿，言明这是最终修订稿，不得再有修改。这个修订稿较以前的条约有了明显的让步，就中国赔偿日本军费一项，从日本提出的三万万两白银降到了两万万两，也是日本政府的忍耐到了极点，此稿传回国内，达到了朝廷的首肯，这便是历史上有名的《马关条约》。4月17日，李鸿章代表中国政府在条约上签下了自己的名字，条约即刻生效，《马关条约》共十一款，另附有《另约》、《议订专条》。《马关条约》的主要内容：一、中国从朝鲜半岛撤军，承认朝鲜自主独立，中国不再是朝鲜的宗主国。二、中国自愿割让台湾、澎湖列岛和辽东半岛给日本。三、中国赔偿日本军费两万万两白银。四、中国对日本开放沙市、重庆、苏州、杭州为商埠，允许日本人在中国通商口岸设立领事馆，建工厂，享受最惠国待遇。五、中国政府无权逮捕日本军人和为日本军队服务的人员。 《马关条约》签订后，立刻引起国内外一片声讨，举国上下群情激愤，纷纷口诛笔伐李鸿章割地、赔款、丧权辱国，是卖国贼，是大汉奸，当杀！当刮！在中国一片喊杀声中，大清政府为了平息民愤，顺应民意，再一次罢免了李鸿章的一切职务。