1583年9月10日，利玛窦与罗明坚进入中国，求得知府王泮的允许，在崇禧塔旁修建了一座带有教堂的小房子，在肇庆建立了第一个传教驻地，利玛窦出版了第一份中文世界地图，并用中文和罗明坚起草了第一部《祖传天主十诫》。经过了几次尝试，利玛窦和罗明坚没能建立起新的驻地，罗明坚被教皇召回罗马安排教皇使节去见中国皇帝，而利玛窦和麦安东神父继续留在肇庆。1584年利玛窦获准与罗明坚神父入居广东肇庆。他们对中国官员自称来自“天竺”，致使中国人以为他们是佛教徒。利玛窦解释来中国的原因：“我们是从遥远的西方而来的教士，因为仰慕中国，希望可以留下，至死在这里侍奉天主。”
他不敢直接回答传教的目的，否则他可能会被驱逐。为了传教，他们从西方带来了许多用品，比如圣母像、地图、星盘和三棱镜等。其中还有欧几里德《几何原本》。利玛窦带来的各种西方的新事物，吸引了众多好奇的中国人。特别是他带来的地图，令中国人眼界大开。进入了中国的利玛窦对中国文明非常称赞：除了还没有沐浴“我们神圣的天主教信仰”之外，“中国的伟大乃是举世无双的”“中国不仅是一个王国，中国其实就是一个世界。”
他感叹“柏拉图在《共和国》中作为理论叙述的理想，在中国已被付诸实践。”
而且他还发现中国人非常博学，“医学、自然科学、数学、天文学都十分精通。”
但是他也发现“在中国人之间科学不大成为研究对象。”
1584年8月，利玛窦在肇庆建立了“仙花寺”，开始传教工作。起初传教十分低调。神父们行事小心谨慎，主要精力都在学习汉语和中国的礼节习俗，以博得中国人尤其是官员们的信任。他们身穿佛教僧侣的服饰，认为这样能够博得人们的好感，而且他们也觉得这与天主教神父的装束相差不大。这也使中国人更加相信他们是远道而来的僧人。他们在这里挂上了圣母玛利亚的画像，许多士人官吏，甚至僧人都来跪拜，他们感到非常兴奋。但是从中国人的角度来讲这更多是出于礼节性的，而没有宗教意义。也有记述说，他们担心中国人看到玛利亚的画像会误认为他们的神是女性的，而改挂了基督像。1584年利玛窦制作并印行《山海舆地全图》，这是中国人首次接触到了近代地理学知识。利玛窦利用解释各种西方事物的机会，同时介绍了他们的天主教信仰。他们翻译了《十诫》、《主的祈祷》、《圣母赞歌》和《教理问答书》。并派发罗明坚撰写的《天主实录》，以中文解释天主教的教义。利玛窦在肇庆居住六年，除带来了欧洲文艺复兴的成果外，系统地学习了中国传统文化，期间传入的现代数学、几何、世界地图、西洋乐等西方文明。1589年夏天，即万历十七年，广东新任总督把传教士驱逐出肇庆。1590年，利玛窦奉范礼安之命起草一封以教宗名义致大明皇帝的信札，其中亦称教宗西师都五世(1585-1590)乃居住在“天竺国”的“都僧皇”，因期盼能传“天主正教”，“推广慈悲，普济世人”，特遣“博雅儒僧”四出扬教，并派“德行颇优，儒文宏博”的“上僧”等四人入华，希望明帝能对此四僧“给有札牒，沿途迎送，以华其行”。经过多方努力，利玛窦得以被派往韶州，在那儿他建立了第二个传教驻地。在韶州的时候，利玛窦遇到了一次意外。他们遇上了强盗打劫，虽然利玛窦受了一点伤，但是幸好他们吓退了强盗，而且很快这些强盗就被逮捕归案。在韶州期间，另外一个不幸是利玛窦的两名部下相继逝世。1591年麦安东神父逝世。1592年初春，利玛窦前往南雄拜访瞿汝夔（瞿太素），瞿氏即力劝利氏蓄须留发，且脱去僧服改穿儒服，他更透过其人脉网络，努力将利玛窦引介入士大夫的交游圈中。1593年石方西神父也辞世了。而另外一名罗明坚神父则早已返回了欧洲，只剩下利玛窦一人从事在中国的传教事业。感到欣慰的是，他在肇庆结识的士人瞿太素成为了他的好友和弟子，还帮助利玛窦翻译了欧几里得《几何原本》的第一卷。藉着瞿太素的宣传，以及赠送高官们利玛窦自己制作的天体仪、地球仪和计时用的日晷等西洋物品，利玛窦的名声逐渐在当地的达官贵人中传开。在韶州他攻读《四书》，并首次将之译为拉丁文。而通过与瞿太素和其他许多中国上流社会人士的接触，利玛窦发现自己先前的佛教僧侣装扮在当时的中国社会并不受到尊重，社会地位也比较低下。为了更方便与中国的官员交往，在征得范礼安的同意后，从1594年起，利玛窦开始蓄发留须，并穿起了当时儒士的服装。1594年，利玛窦和中国的一名被派遣到朝鲜边境的将军一起，初步尝试进入北京。但到达南京，又不得不返回驻地。1595年（万历二十三年）利玛窦借口为一位北上任职官员之子治病，而获得了去南京的机会。但是到了南京以后，利玛窦陪同的官员对他逐渐失去了兴趣，利玛窦只好自己设法留在南京。然而这一次失败了。他只好折返南昌，并获得批准在此居住并建立了第三个传教驻地。明朝王室成员、各级官员都对地球仪、玻璃器皿、西式装订的书籍等礼物极感兴趣，利玛窦便在自己的住宅再一次举行“科普”展览，表演先进的记忆方法，出版《交友论》，并开始撰写《天主实义》，选择适合中国人伦理观的西方伟人语录加以刊行。他放弃建造教堂，公开传教的方法，进一步用中国自古就有的“上帝”偷换“天主”概念。利玛窦在南昌传教的三年，也是他的传教策略在探索和实践中逐步形成的过程。他与江西的官绅阶层进行了密切交往和友好的对话，并在这个过程中形成了一套成功的传教策略——“南昌传教模式”。他在写给耶稣会的报告中解释了在南昌传教成功的原因：一是因为当地从没有见过外国人；二是利玛窦的记忆力非常好，以至于许多中国人都想学习，他也因此用汉语写了一本《西国记法》的书来介绍他的记忆方法；三是它能够运用四书五经来宣讲基督教的教义；四是他的自然科学知识；五是传说他会炼金术；六是有人向他求教基督教。1596年利玛窦被范礼安任命为耶稣会中国教区的负责人，由利玛窦全权负责在中国的传教活动。并且指示利玛窦想办法到北京去觐见中国的皇帝，以达到在中国传教的有力保障。而且还从澳门送去了许多准备送给中国皇帝的礼物。在南昌，利玛窦知遇了江西巡抚陆万垓，向他展示三棱镜、西国记数法和钟，并讲解西方书籍的内容，他还向当地学人讲解数学问题与日晷记时问题。1596年9月22日利玛窦在这里成功的预测了一次日食，使他很快成为了一个有名的人物。期间结交了许多儒士权贵，受当时名士章潢之邀在著名的白鹿洞书院讲学交流，与分封在南昌的皇族后裔建安王和乐安王建立了友好的关系等等。1597年，利玛窦被任命为中国传教的主管。1598年6月25日利玛窦与另一位郭居静神父同王忠铭一起离开南昌奔赴南京。1598年7月初，他们一行到达南京，1598年，利玛窦首次进京是由南京礼部尚书王忠铭促成的。王忠铭是利玛窦在韶州传教时结识的老友，当时正要赴北京述职。时值万历皇帝寿诞，王忠铭便邀请利玛窦一同进京贺寿，利玛窦也准备了自鸣钟、八音琴等欧洲方物献予皇帝。一行人由水路启程离开南京，沿大运河北上。1598年9月7日利玛窦历经两个月后到达北京。漫长的旅途加之夏日的酷热，使传教士们一度病倒，而初到北京的喜悦，又令他们忘却了旅途的艰辛。利玛窦在札记中写道：“这真是一桩令人欣喜的事，我们不应缄默着把它放过去；只要想想基督信仰跨过多少海洋，经过这样长时期的接近之后，终于进入这个国度，它的使者终于进入了皇都。”
然而，之后的事情远不如利玛窦想像中的顺利。由于当时正值日本侵犯朝鲜的战争，整个京城戒备森严、气氛紧张，人们都怕因结交洋人而惹祸上身。先是王忠铭联系的太监拒绝将利玛窦引入皇宫，随后王忠铭本人也不再施以援手。利玛窦虽然想方设法在京周旋，但仍四处碰壁，就连昔日老友也对他避而不见。利玛窦作为外国人无法在北京久留，而且又遇到了财政上的困难，仅住一个多月只得返回南京。虽然未能见到皇帝，但利玛窦首次北京之行收获颇丰。他首先证明了《马可波罗游记》中记载的契丹就是中国，而国都“汗八里”即是北京。在旅程中，利玛窦还与神父郭居静一同编修了第一本中西文字典《平常问答词意》，首次尝试用拉丁字母为汉字注音。此外，他还完成了对《四书》的翻译和注释工作，这对中国文化向西方传播起到了重要的作用。利玛窦于1599年2月6日在南京定居。并建立了第四个传教驻地。在南京居住期间，利玛窦通过瞿太素的帮助，结交了不少名士，如南京礼部侍郎叶向高、思想家李贽、徐光启等。当然这主要还是人们对于他的自然科学知识的倾慕。值得一提的是，在南京利玛窦还与一位三淮和尚（即大报恩寺僧雪浪）进行了一场辩论，在这次辩论中，利玛窦凭借其科学性的思辨明显占了上风。他还在正阳门（今光华门）内洪武岗西崇礼街（今尚书巷）建成内地第四座天主教堂，他在城西罗寺转湾的住址后来也成为著名的天主教堂——石鼓路天主教堂。这些活动使南京为中国天主教史上最重要的传教中心之一。1600年，接受了新任务的利玛窦开始策划北京之行。没过多久，他就联系了北上任南京礼部尚书的王忠铭一起带他去南京，而且王忠铭还表示要带他去北京。1600年5月18日（万历二十八年），利玛窦带着庞迪我神父和准备好献给皇帝的礼物由南京启程再赴北京，由于太监马堂的讹诈和阻挠，传教士们在天津耽搁了近半年的时间，并于1601年1月24日抵达北京。利玛窦一到北京，就着手整理礼物进献皇帝。进呈自鸣钟、圣经、《万国图志》、大西洋琴等礼单上开列的贡品共16件，万历皇帝对这些贡品兴趣十足，对那些宗教圣物，万历皇帝既觉新奇又感敬畏，他把十字架上的耶稣称为“活神仙”，并把圣母像送与母亲慈圣太后。对大小两架自鸣钟，万历皇帝最为喜爱，小的那架被他带在身边时常把玩；大的那架，被置于精美的阁楼之中，在宫内专司报时。由于自鸣钟构造复杂，需要时常维护，传教士们便被允许定期进宫对其进行检修。对利玛窦进奉的西洋琴，万历皇帝也备感好奇，他命利玛窦教太监演奏。利玛窦让助手庞迪我教授太监，他自己则仿照宗教赞歌的形式创作了8首乐曲，并填上简短的中文歌词，起名《西琴八曲》。每当悠扬的琴声在宫中回荡时，万历皇帝就会想起这位来自西洋的神甫。正是这些“欧洲方物”打开了利玛窦进入宫廷的大门，万历皇帝也因此对他赏识有加，允许其留居北京，深得信任。1601年，明神宗下诏允许利玛窦等人长居北京，作为欧洲使节被召命带进北京紫禁城。至此他将一直拥有朝廷的俸禄，直到临终。但中国的朝廷根本没有注意到，利玛窦长住北京的目的是为了传播基督教。利玛窦在北京以丰富东西学识，结交中国的士大夫。常与宾客谈论天主、灵魂、天堂、地狱，同时编撰新书。1602年-1605年，出版《两仪玄览图》第三版中文世界地图，以及其他著作《天主实义》、《天主教要》和《二十五言》，得到不少中国知识分子的尊重。到了1605年，北京已有200人信奉天主教，当中有数名更是公卿大臣。这当中最著名的，也是后来对利玛窦传教事业帮助最大的，当属“圣教三柱石”——徐光启、李之藻和杨廷筠。徐光启是南直隶松江府（今上海）人，曾在南京与利玛窦会面，之后入天主教。利玛窦在北京期间，徐光启正供职于翰林院，他与利玛窦结下了深厚的友谊，二人协力翻译了《几何原本》和《测量法义》等著作。李之藻是浙江仁和（今杭州）人，时任太仆寺少卿。他师从利玛窦学习西方科学，之后也加入了天主教。他与利玛窦合作编译了《同文指算》等书籍。杨廷筠是李之藻的同乡，在北京担任监察御史。杨廷钧早年是虔诚的佛教徒，后在利玛窦和李之藻等人的感召下受洗入教。“圣教三柱石”身体力行实践教义，他们劝说家人、朋友入教，为传教士提供经费，并且在天主教遭受教难之时上疏抗辩，极力保护传教士。通过利玛窦的不懈努力，天主教在中国得以传播。利玛窦留居北京之后，全国教徒人数骤增，涵盖了平民、士大夫、皇亲国戚等各个阶层。与此同时，西方的科学技术伴随天主教传入中国，中国的文化也由传教士们带到西方。利玛窦初到北京时，住在专门接待外国使臣的宾馆中，随后获准在城内择民房长住，并可以进行传教活动。利玛窦选中了宣武门内的一块土地，他在这里修建了一座教堂，这就是著名的南堂——北京地区现存最古老的天主教堂。利玛窦建立南堂之后，在教堂里举办西方图书和科学仪器的展览，吸引了大批官员和儒士前来参观，从而扩大了天主教在士大夫中的影响。利玛窦在北京交游于士林，结识众多名流，其中不乏朝廷高官，如内阁首辅沈一贯、吏部尚书李戴、礼部尚书冯琦、刑部尚书萧大亨等人。1607年，利玛窦与徐光启合作，出版了欧几里德《几何原本》的前六回的译本。1608年，印刷《畸人十篇》，并开始编纂他的历史著作《基督教远征中国史》。1610年5月11日(万历三十八年)，因病卒于北京，终年59岁。1611年，万历皇帝赐物利玛窦安葬于平则门外二里沟的滕公栅栏。按照当时惯例，西方传教士死后本应移葬澳门，但在内阁首辅叶向高等人的斡旋下，万历皇帝破例准许利玛窦葬于北京西郊的藤公栅栏，使其成为首位葬于北京的西方传教士。