蒋介石的命令对于唐纵而的确是有苦说不出。他一直觊觎的就是出任警察总署的署长一职。他在德国期间，学习了法西斯一整套警察系统的制度，想要搬到国内来运用。但现在蒋介石把代局长的乌纱帽往他头上一戴，也由不得他不管军统的事，同时，cc派的李士珍等人对警察署长的争夺也十分激烈，蒋介石手中的任命书迟迟下不来。唐纵想，如不能当警察署长，当军统局长独当一面也是好事，所以他对军统的事情一下子又热心起来。这让毛人凤很不满意。排挤唐纵的计划逐步展开，最终定在军统的“四一”大会上进行。

1946

年

4

月

1

日，在一片凄凄惶惶、悲悲戚戚的气氛中，军统局成立

14

周年的纪念活动拉开了序幕。按老规矩，除了在罗家湾本部及安置在重庆各机构的大小特工全部参加外，还有各地干外勤的特务头脑都赶回来，把偌大一个礼堂，挤得严严实实。朱绍良作为蒋介石的代表，率领着军委会各部、厅、室的负责人参加了这个活动。

上午，毛人凤作军统内外情况的总结报告，博取了一片掌声，特别是军统局浙江派把手都拍红了，一个个声泪俱下，气氛相当活跃。唐纵看在眼里，急在心头，利用中午吃饭的时候，召集湖南派将士注意在他下午训话时，也使劲鼓掌，务必使掌声超过毛人凤。

下午，唐纵走进厅堂，大小特务云集此地。唐纵左顾右盼，发现李肖白、李崇诗等湖南派特务全不在场，急得他连忙问毛人凤。毛人凤笑着说，这几个人因为有特殊情况，不能来参加会议。机警的唐纵心里一沉，顿时觉得这里面有文章，可已经到了会场，在几百个特务面前，也不好打退堂鼓。毛人凤首先介绍了唐纵，然后请唐代局长训话，下面立即响起稀稀拉拉的掌声。

庸纵开始训话，可是，没说到，5分钟，台下已乱成一片，有议论的，有聒噪的，有骂娘的，唐纵察觉场面失控，一再要求大家肃静，听自己讲话，都毫无结果，只好求救一般地看着毛人凤。毛人凤一拍桌子，下面立刻安静下来，毛人凤说：“此次唐代局长光临军统，对大家而是一次难得的学习机会，大家要安静。”说罢示意唐纵再讲。

接着，唐纵又讲：“军统局之归并裁撤，既不是因为戴局长之死，也不是因为共产党的反对，而是由于时势之需要产生。因此，在裁并调整的时候，义利公私之分甚为重要，如果把握不住，将来是会犯严重的过失的，希望大家勿存私见，勿图私利……”

正讲话间，下面叶翔之和谈荣章突然打起来了，顿时礼堂里又乱成了一锅粥，唐纵连自己讲话的声音也听不见了。他转脸看毛人凤，毛人凤一副事不关己、高高挂起的样子。唐纵忍无可忍，气得把桌子一拍，叫道：“叶翔之、谈荣章你们还把本局长放在眼里吗？”

叶翔之说：“谈荣章这浑蛋骂我是王八。”众人一听哄堂大笑。

唐纵气得脸色惨白，正要拂袖而去。毛人凤站起来对叶翔之和谈荣章说：“两位要注意场合，不要胡闹。”

见毛人凤发话，叶翔之和谈荣章立即像孩子似地听话，安安静静坐下来，会场再次安静。此时唐纵根本没有心思讲话了，他用雪白的手帕擦擦脸上的汗，怒气冲冲地离开会场。晚上，余怒未消的唐纵给李崇诗等湖南派大将挂电话，责怪他们为什么不去捧场，这些大将们都惊奇地说：“毛主任通知我们，你的训话明天开始。”

“真他妈的小人！”唐纵在心里暗暗地骂了一声毛人凤，但经此一挫，唐纵觉得自己在军统的面子已丢，威信尽失，索性对军统的事来个不闻不问，军统又回到毛人凤手里了。

但是唐纵也没有委屈太久，到了

1946

年

7

月，蒋介石任命唐纵为内政部警察总署署长，免去他内政部政务次长的职务。当时，唐非常高兴，因他从来没有做过主管官，对这样一个署长已感到心满意足了。更让他满意的是，他可以随心所欲地对戴笠之前拟订的警察总监部的计划进行修改。