徽宗皇帝即位后，朝会大殿上，最吃得开的便是蔡京；朝会外，最吃得开的乃是殿帅府太尉高俅了。那是蔡京担任朝廷宰相的第三年正月，天生异象，彗星出现西方，光长竟天。群臣大惊，天监官急将天气异象报告给了徽宗皇帝。徽宗皇帝闻报，因星象告警，避殿损膳，心中惊慌，起息不安。朝中大臣赵挺之、刘逵，素与蔡京不和。两人心想，既是天生异象，必有妖孽作怪。遍观朝中，要说妖孽，最是蔡京莫属。这两人琢磨良久，暗中商议，便将矛头对准了蔡京，觉得利用天生异象，而圣上又甚是迷信的机会，搬倒蔡京，实乃再好不过的办法。这两人商量好后，遂趁机在徽宗皇帝面前进言，请求徽宗皇帝放开言路，宽松环境，不拘一格，发现人才，使用人才，创造良好的行政环境。赵挺之、刘逵之所以会有如此建议，乃是因为蔡京在朝殿门外及各州县衙门树立“元祐党人碑”，致使言路闭塞，有碍观瞻，限制了人才使用，阻碍了朝廷的行政能力，损害了朝廷形象；故此，两人有针对性地对徽宗皇帝做了这番进言。徽宗皇帝听了赵挺之、刘逵的进言后，觉得很有有理，“元祐党人碑”立于朝殿门外，的确有碍观瞻，的确蔽塞了言路，影响了人才的涌现和使用。徽宗皇帝大为欣喜，便提拔赵挺之为右相，提拔刘逵为中书侍郎。时任左相的乃是蔡京，徽宗皇帝提拔赵挺之为右相，乃是用与蔡京不和的大臣来牵制之。至于元祐党人碑，徽宗皇帝准备在适当的时候，销毁了事。赵挺之、刘逵实现了他们的第一步目标。因为谋着要搬倒蔡京呢，所以，赵挺之、刘逵紧盯着党人碑不放。又过了几日，被徽宗皇帝任命为中书侍郎的刘逵，撩衣跪地，复求告道：“吾皇万岁，臣以为，朝堂及各州县衙门前，高竖元祐党人石碑，有碍宽松言论，不利朝廷观瞻。圣上，现如今，政通人和，人民和乐，国泰民安，处处繁华锦绣，唯元祐党人碑，突兀朝殿及各州县衙门前，甚是不雅，有碍观瞻，臣恳请毁去。”
徽宗闻言，深有同感，有意毁去，却犹豫不决，认为时机尚不成熟，恐蔡太师不悦。赵挺之也跪地请求道：“圣上，刘侍郎所言不虚，情况的确如此，不毁去元祐党人碑，言路无法打开，下情不能上传，圣上玉音也不被兵民知晓，唯有毁去元祐党人碑，才能营造宽松之环境，复造和谐之氛围。”
徽宗闻奏，点头说道：“卿等所言极是，朕也有此意；然元祐党人碑，乃蔡太师一意主持栽立，况且是由蔡太师撰稿，朕御笔亲书的，如今毁去，恐生议论，”赵挺之复奏道：“吾皇万岁！世间万事，皆当时环境使然，岂有一成不变者乎？如今，时过境迁，环境变换，当另行举措，以应对时局，毁碑实乃当务之急，若毁去元祐党人碑，更显吾皇英明聪圣。”
徽宗沉吟片刻，终于下了决心，说道：“既是要毁碑，也当暗中进行，不得让蔡太师知晓。”
赵挺之、刘逵高声喊道：“吾皇英明！吾皇万岁、万岁、万万岁！”
当夜，万籁俱静，徽宗遣人，潜至朝堂，偷偷砸毁了元祐党人石碑。徽宗皇帝连夜另行传旨，各州县均如此照办，速将立于衙门门前的元祐党人碑悉数毁去，不得有误。徽宗皇帝圣旨连夜下达京师附近州县。次日早朝，蔡京大摇大摆地入朝，来到大殿门口时，忽然感到少了什么，仔细一想，乃是自己颁令树立在朝殿门前的元祐党人碑没了，显然是被人给毁去了。蔡京见状，顿时勃然大怒。然而，蔡京并不知道立在朝殿门前的元祐党人碑乃是徽宗皇帝遣人摧毁的，故此，无所顾忌，怒气冲冲地，急趋入殿，也不看两边站立的众大臣，也未向徽宗皇帝行礼致敬，突兀地高声询问高坐于龙椅上的徽宗皇帝道：“吾皇万岁，不知是何人如此胆大，竟敢毁去朝殿门前奸人党碑？！如此行径，置朝廷法度何在？！当予以严惩。”
徽宗见状，面子上有点难看，但想到此碑乃是背着蔡京，自己遣人悄悄拆毁的，故此未责怪蔡京的失礼，反而劝慰蔡京道：“太师息怒。昨日你未早朝，有大臣谏言，宜拆毁党人碑，宽松言路。朕意亦宜从宽大，故此令人毁去此碑。”
蔡京闻言，方知元祐党人碑乃是徽宗皇帝指使人毁去的，心里虽是不想再争辩，但当着众大臣之面，大话已说出，怎好收场，遂怒睁双眼，厉声喝道：“何人有此谏言？！”
众大臣皆被蔡京气势所镇住，没有敢出班言明。蔡京怒气未休，往上吼道：“碑可毁，名不可灭！”
蔡京声音之高，响彻朝堂，满堂大臣尽皆惊诧。徽宗皇帝也被蔡京此举吓了一跳，顿觉掉了面子，遂不满地看了蔡京一眼，微露怒容，起身离座，拂袖而去。当日朝会随即结束，众大臣皆退出大殿。蔡京也打道回府。回到府中，蔡京尤满腹怨气。对蔡京来讲，党人碑被拆毁，就等于他本人被否定了。回到内宫的徽宗皇帝，也因蔡京当殿顶碰，心中甚是不悦。不过半日，陆续有大臣进本参奏，奏请罢免蔡京宰相职务。赵挺之、刘逵也联名进本参奏，斥责蔡京，请求罢免。奏折道：“蔡京奸佞，擅权专横，目无君父，党同伐异，陷害忠良，兴役扰民，损耗国帑，擅招敌国边民，轻开边衅， 当亟加罢黜，定国安民。”
徽宗览奏，心中甚是痛快，遂有意罢免蔡京左相职位；然而，徽宗皇帝念在蔡京书画绝伦，才华出众，心里虽怨恨蔡京鲁莽，当殿顶撞自己，但喜蔡京之才，对罢贬蔡京，犹豫不决起来。快至傍晚时，蔡京怒气渐消，想到自己当殿顶撞徽宗皇帝，那徽宗皇帝定然恼怒不堪，定然要罢免自己的宰相职务。如此一想，蔡京又后悔不迭，想着如何挽回此事的影响。想来想去，蔡京觉得必须连夜去觐见徽宗皇帝，当面解释清楚，否则后果十分严重，说不定自己的相位便没了，就成别人的了。于是，蔡京连夜进宫，觐见徽宗，跪伏于地，涕泪齐下，哭诉自己不该顶撞圣上，自己实乃是怕旧党得势，阻扰各项法规顺利实行，一时急迫，有了朝会上不恭之举，万望圣上饶恕。徽宗见蔡京哭得悲切，言辞诚恳，遂打消了罢免蔡京的念头，对蔡京说道：“蔡太师且起。卿今日之举，实在是过于孟浪，以后绝对不可了！”
蔡京闻听到徽宗皇帝并无追究朝会上不恭之罪，感动得涕泪横流，跪趴在地上，连扣着响头，高声喊道：“臣谢主隆恩。祝吾皇万岁、万岁、万万岁1”徽宗见状，离了龙椅，下到殿中，来至蔡京身边，亲手扶起蔡京，又是一番抚慰。蔡京见徽宗皇帝已无怨气，遂放心告辞回府。又是接连几日，对奏请罢免蔡京之事，徽宗一直没有表示。群臣不服，便又有奏折递入宫中，请求徽宗皇帝，罢免蔡京。徽宗皇帝接奏，犹豫不决。又过了几天，有天监官入殿，奏称太白昼见，恐非吉兆，应加修省。得知这个情况，赵挺之、刘逵也赶忙进宫，觐见徽宗，请求罢免蔡京，以宽松环境。徽宗闻奏，乃赦免一切党人，尽还所徒，暂罢崇宁诸法，并免去蔡京左相职务，贬为太乙宫使，留居京师。虽是如此，徽宗心里尚觉愧对蔡京，乃将蔡京所宠爱的私人，擢为龙图阁学士，兼官侍读，以笼络蔡京之心。擢为龙图阁学士的蔡京私人是谁？乃蔡京的长子蔡攸也！徽宗尚是端王时，每退朝遇到蔡攸，蔡攸都急忙下马，立于路旁，趋身弓腰，双手抱拳，对端王极为恭敬。端王喜其有礼貌，乃问其曰：“你乃何人？”
蔡攸遂答曰：“端王在上，下官乃蔡学士长子蔡攸是也。”
赵佶嘉奖其有礼，由此将蔡攸记在了心里。现在，徽宗皇帝因罢了蔡京左相职务的原因，想到了蔡攸，遂提拔蔡攸升职为龙图阁学士，兼官侍读，以此作为对蔡京被罢相的补偿。此是蔡京被初次罢相。其实，蔡京初次被罢相，也非是犯了多么重大的错误，实是因了徽宗皇帝迷信，看重天象之故，加之其他大臣的弹劾，徽宗皇帝无奈，方罢免了蔡京的宰相职务，蔡京给徽宗皇帝皇帝甩脸子，只是个借口而已。蔡京被罢相后，并未失去徽宗皇帝对他的信任，双方在书法及绘画方面，常有切磋；况且蔡京罢相后，还留下了大批余党充斥在朝廷中，只要有机会，蔡京余党皆在徽宗皇帝面前说蔡京的好话，向徽宗进谏，请求启用蔡京。