이회창이 총재가 되며 다른 상도동계 정치인들이 당을 떠나는 와중에도 김무성은 당에 남아 이회창의 신임을 얻어 이회창 대선후보의 비서실장까지 역임하였다.
2004년 박근혜 대표에게 당권이 넘어가자 이번에는 박근혜 대표의 신임을 얻어 사무총장을 역임하였다.
하지만 17대 대선경선에서 박근혜 후보가 이명박 후보에게 패하였다.
이후 17대 대통령에 취임한 이명박은 한나라당내 친박세력을 축출하기 위해 일명 공천학살을 시도하였는데, 김무성은 다른 친박 정치인들과 같이 탈당하여 우리나라 정치역사상 유래없을 특정 정치인의 이름을 당명에 사용한 일명 친박연대를 구성하여 출마, 당선했고 이후 한나라당에 복당하였다.
이후 친이계에서 제시한 원내대표직을 박근혜에게 허락맡지 않고 수락하였다가 박근혜로부터 미움받기 시작하였다.
박근혜가 새누리당 비상대책위원장이었던 시기에 치뤄진 19대 총선에서 김무성은 공천에서 탈락하게 된다.
하지만 이번에는 탈당없이 결과를 수용하며 출마하지 않았다.
이후 18대 대선에서 박근혜후보의 선거대책본부장을 맡아 두사람간의 앙금이 해소되는것처럼 보였다.
2013년 재보궐선거에서 부산 영도구에 출마하여 다시 국회에 입성하게 된다.
2014년 치뤄진 전당대회에서 당대표로 선출되었다.
하지만 당시 새누리당은 당헌당규로 당대표 혼자서는 아무 의사결정을 내릴 수 없으며 최고위원들의 다수결 합의로 모든 결정을 내리게 만들었다.
김무성 새누리당 대표는 그렇게 허수아비 당대표로 전락했으며 당-청간의 갈등은 날이 갈수록 격화됐다.
이 갈등은 20대 총선 당시 공천과정에서 벌어진 옥쇄들고나르샤 사태를 유발하였다.
결과적으로 공천갈등으로 인해 당시 지지율이 50%가 넘던 새누리당은 120여석의 의석을 얻는데 그쳤다.
박근혜-최순실 게이트가 세상밖에 드러나며 이 갈등은 새누리당의 분당사태로까지 번지게 된다.
비박계는 박근혜 대통령의 탄핵안에 찬성표를 던지고 이후 탈당하여 바른정당을 창당하게 된다.
하지만 바른정당에 들어온 새누리당 의원들의 생각은 가지각색이었다.
김무성 의원과 그 추종세력은 탄핵이후 돌아오는 반기문 유엔사무총장을 대선후보로 내세우려 했으나, 유승민 의원과 그를 따르는 자강세력은 반기문이 돌아오더라도 경선을 통해야한다는 입장이었다.
결국 반기문 총장은 한국에 입국하여 독자적으로 선거운동을 시작하였으나 일반인의 상식으로 이해할 수 없는 행동을 연발하여 결국 대선 불출마를 공식화하였다.
반기문만을 바라보고 있던 김무성과 친 김무성계 정치인들은 낙동강오리알 신세가 되었다.
친김무성계 의원들은 대선 전에 자유한국당에 돌아가며 철새라는 비난을 받았다.
하지만 친김무성계 의원들을 먼저 보낸 후 여론의 동향을 보고 복당을 하려던 김무성 의원은 악화되는 여론을 바라보며 복당을 미루게 된다.
19대 대선 이후 김무성 의원은 부지런히 자유한국당내 비박계의원들과 물밑접촉을 해왔다.
이후 자유한국당에 홍준표 대표가 취임하며 친박계정치인들과 박근혜 전 대통령의 출당조치를 진행했다.
하지만 친박계 의원들의 거센 반발로 친박계 정치인들의 청산으로까지 이어지진 못하였고 김무성의원은 바른정당의 자강파의원들에 대한 설득도 실패하게 된다.
바른정당 자강파 의원들에 대한 설득에 실패한 김무성의원들은 바른정당 통합파 의원들을 이끌고 자유한국당으로 복당하였다.
물론 탈당과 복당이유를 밝히며 국민의 뜻을 받들어 내린 결정이라 하였지만, 국민의 2/3이상은 이들의 복당에 부정적이라는 여론조사결과가 나왔다.
김무성 의원의 정치적 미래는 매우 어둡다고 할 수 있다.
정치적으로 자기 세력이 붕괴됐으며
국민의 대다수는 이들을 철새라고 부르고 있다.
또 친홍계와 친박계의 내분이 격화된 시점에 복당하여 스탠스를 잘못 취할 경우 정치적으로 사망할 가능성까지 있다.
