1927年4月，南京国民政府成立，其政府组织由胡汉民、蔡元培、戴季陶等人促成，蒋介石作为军事首领，通电拥护南京政府，而参与到政府中来，故其本非南京政府之主角。政府成立之初，未设政府主席，胡汉民、古应芬、伍朝枢、张人杰任常务委员，并通电汪精卫、谭延闿来京行使职权。此后，国民党“宁汉合流”趋势渐显，地方军阀冯玉祥等人于中间积极联络，而蒋介石作为“牺牲品”宣布下野，胡汉民亦与张人杰、蔡元培、李石曾等辞职，终于促成国民党内的统一。1927年9月召开的国民党中央特委会，选出国民政府委员和常务委员，汇集了国民党宁、汉、沪（西山会议派）的各方代表，同时，冯玉祥、阎锡山、白崇禧等地方军阀亦参与到政府中来，实际上承认了地方军阀的地位。[13]新成立的政府成为国民党各派系、地方军阀的结合，因此更适于实行集体领导制。

    但是，1928年1月，蒋介石复任国民军总司令，旋恢复了因设立“特委会”而被废黜的“中央政治会议”，该会实行“主席制”，由蒋介石任主席。这一组织的恢复意味着蒋氏重建其权力的开始。蒋介石认为自己是孙中山建国思想的忠实继承者，强调建立“以党治国”的体制，必须以孙中山的《建国大纲》为依据。二届四中全会通过、2月4日公布的新政府组织法，以国民党“中央执行委员会”为最高权力机关，其委员中有五到七名常务委员，推举一人为主席，签署法令和文书，需主席及两名以上常务委员签名。主席类似于委员的“共主”，权力无法独大。无实权的谭延闿任主席。同时，中央政治会议在各地设立分会，地方势力在其中得以分一杯羹，如开封分会（主管河南、陕西、甘肃）主席是冯玉祥，委员于右任、徐谦等，太原分会（山西、绥远、察哈尔）主席阎锡山，委员赵戴文、田桐等，武汉分会主席李宗仁，委员程潜、白崇禧等。[14]由于各分会在省政务中发挥着重要的作用，因此这个政府仍是建立在各地方势力合作基础之上的。

    胡汉民辞职后，于1928年1月，携孙科、伍朝枢夫妇，赴欧洲考察政治。他在旅欧途中提出《训政大纲》案、发表《训政大纲提案说明书》，回国后，参与了《训政纲领》和《国民政府组织法》的制定，成为“训政”时期制度设计的大脑。胡氏的制度设计有以下几点值得注意：

    第一，确立训政时期党与人民关系。如规定，“中华民国人民须服从拥护国民党，誓行三民主义……始得享受中华民国国民之权利”；一切培植地方自治，宣传训政方针，开导人民使用四权，都由中国国民党中央执行委员会指挥并监督下级党部推行；国民党最高权力机关，在法律范围内，得以限制人民之集会、结社、言论、出版等自由。 第二，确立“训政”时期党与政府的关系。规定“训政期间，由中国国民党全国代表大会代表国民大会行使政权”，在其闭会期间，政权由中国国民党中央执行委员会执行；由中国国民党中央执行委员会政治会议指导、监督国民政府执行国务。这样，从制度上确立了党对政府的领导，尤以中央政治会议的地位非常重要，“政治会议实际上总握训政时期一切根本之方针之抉择权，为党与政府间惟一之连锁”，“在党一方面，一切政治思想及主张自有其酝酿回翔之余地，迨其成熟结晶为具体的政纲与政策，然后由政治会议之发动，正式输于政府，置之于实施。在政府一方面则凡所接受之政策与方案，皆有负责执行之义务，有政必施，有令必行。”由于国民政府委员为当然的中央政治会议委员，因此能保障党的决议与政府执行力的高度一致。治权之行政、立法、司法、考试、监察五权托付于国民政府，体现了孙中山的五权宪法思想，而国民政府为五院权力总汇所在，“国民政府须有其五院汇集之依据在，否则五院不相连属，势且引起事权上之冲突，此非立国之所宜有也。”[15]这种设计既保证了政府的效率，符合孙中山建立“万能政府”的意图，又使党的命令能够顺利贯彻、执行。第三，在政府组织上采取集体领导。胡汉民一再强调实行“委员制”，防止党内出现个人独裁的局面，而汪精卫也一再强调“以党治国”必须避免“以军治党”的危险，国民党的两大领袖都非常警惕军人专权、军人治党的现象，显然针对的是军人出身的蒋介石。