清朝豫王府现在不存在了，但在老北京的话中有“礼王府房，豫王府墙”之说。这也就是说，在礼王府当中房子很多，而在豫王府当中的墙要比别的王府高很多。这豫王府的墙要比别的王府高整整三尺。但在等级森严的清代，王府建筑是不可逾越祖制的，违者要被发放宁古塔，永不录用，严重可能还会被杀头，可豫王府却没事。

这事发生在乾隆年间，要说到这乾隆皇帝，不仅能吟诗作画，还善骑马射箭，可谓是文武双全。他在下象棋上，乾隆帝也是一等一的好手，豫亲王府中的第四代小豫王也是象棋高手。乾隆帝与小豫王在一起下棋经常是忘了时间，下得昏天暗地，直到难解难分时两个人才肯罢手。论棋力，两个人其实是各有输赢，棋逢对手。所以，乾隆皇帝更是经常来找小橡王下棋。

有一天，乾隆帝又来找小豫王下棋。二人很快摆好棋盘，开始了第一盘的对战。这一盘乾隆帝的棋势特别好，所以内心也是暗暗高兴，而正当这时，小豫王也是破天荒地提起了论成败的赏罚。只见小䂊王手摸着胡须，对乾隆帝说道：“皇上，我们君臣二人已经下了这么多次的棋了，总是难分胜负，这一次我们两个人可不能白下，总得分出了胜负出来，比个高低。我们来赌点什么吧？”乾隆帝兴致正高，见小豫王这样的要求更是感兴趣，说道：“好啊，那你说说，我们赌点什么？”小豫王略加思索后说道：“皇上，您要是输了就得给我加一份俸禄，要是我输了您就抠掉我大门上的一颗门钉（那时王府大门上的金钉依制定数是级别荣誉的明显标志。抠门钉等于降级。）乾隆帝正玩在兴头上，不假思索地便依了小豫王的赌局。

输赢条件交换好，二人便开始认真下起来。乾隆帝第一盘杀得小豫王是片甲不留，赢得了第一盘的胜利。摆阵的小豫王面对残局，对乾隆帝说，皇上，这一局我输了，您抠掉我门上的一颗钉子吧。不过，我们可不可以再来一盘？兴致正浓的乾隆帝见状自然答应，就这样，两个人昏天暗地地杀了十盘，各胜五盘，打了个平手。但按照先前的输赢约定，这十盘棋小豫王赢了五盘，所以要被加五份俸禄，乾隆帝赢了五盘，所以抠掉豫王府大门外的五颗钉子。这乾隆没办法，只好勉强答应。

乾隆帝方才认识到自己吃了亏并想反悔，可堂堂天子岂有说话不算数。乾隆回到宫中，想着白天和小豫王下棋的情形，越想越生气。暗自说道，好你个小豫王，竟然下套让我往里钻，你输五盘我只是抠掉了你大门上的五颗钉子而已，可我输了你五盘却要给你加上五份俸禄禄，，我这不是冤大头么？不行，我得治治你。于是乾隆帝便想提笔下旨治小豫王的罪。可刚要提笔却想到，这祖上可是有规矩，八大铁帽子王不能加罪啊。这让乾隆心中十分不舒服，治罪吧，那是破坏祖上的规矩，万万不可；不治罪，自己心里还憋屈。那该怎么办呢？乾隆帝灵机一动，第二天的时候召来了小豫王，说道，昨日下棋我们一人各胜五局，既然这样，那朕也不赏你，也不抠你门钉。这样吧，朕准你王府墙加高三尺。因为府墙的高低是代表了级别，加高墙代表着赏赐荣耀，所以小豫王很高兴地接旨加高了底墙。

后来小豫王才明白，加高墙实际上，从远处看王府就像牢房，就像把自己禁锢了。由此北京城就留下了“礼王的房，豫王的墙”之谚语。现在，这里已是高楼林立，昔日的王府旧景已荡然无存。