那时候，香港有四大黑帮十分有势力，分别是14K、和胜、潮州帮和四大。而吴锡豪的势力，算是潮州帮的一个主要分支，可见当时他的影响力到底有多大。

随着香港廉政公署的诞生，香港开始加大了对黑道势力的打击力度，而吴锡豪自然是被重点打击的目标。1974年，吴锡豪正式被捕，而他手下的那些黑帮成员们，一个个也没能幸免。