《邻家秘闻》第七期出来的时候，方芹因带着两百文钱离京去慰藉生病的穷人，故而并不知情。
等他中午回来的时候，吃过饭，便有邻里委婉来问候方芹可好。方芹还只以为他们是因自己之前被罢黜的事儿，还来慰问，故而笑着表示无所谓，功名利禄他都看得淡了。邻居们佩服不已，直叹方芹果然非同凡俗，大人有大量。
方芹笑着谦虚应承，送走邻居之后，睡了一觉，傍晚精神满满的便打算出门走一走，顺便慰问一下街上的穷苦。
哪知这一睡，外面的人对他的态度都大转变。
方芹刚迈出自家大门，就看见隔壁令居老刘，正要和他打招呼，便见老刘先瞪他一眼，而后便晦气的挡着眼睛跑了。方芹正奇怪老刘是不是遭了什么不幸，思虑自己要不要去关心的时候，发现四周过往的邻居看了他，都跟老刘似得躲瘟神躲着他。
特别是妇人们，总要狠狠剜他一眼，才会罢休离开。
方芹不明所以，背着手上街，就见那些识得他的妇人都凑在一起，掩嘴骂什么。方芹听不太清，但碍于男女授受不亲，他也不好上前去问。好容易碰见一个他以前帮助过的卖豆腐的摊贩和自己打招呼，方芹忙上前去和他道出自己的疑惑。
“真不知道今天这些人都怎么了，好多人见了我便躲。”
“哎呦，方老爷您还不知道呢？《邻家秘闻》上写了你的事！”卖豆腐的老伯道。
方芹惊讶张大眼，心里咯噔一下，再回想刚才那些人对自己的态度，原来是因为这个。
方芹蹙眉：“能写什么，不过是些毫无根据的闲言碎语罢了，也值得他们这般冷言冷眼待我。我方芹行得正坐得端，就没怕过谁编排报复！”
“闲言碎语？那大人到底有没有休妻两次，把人逼死在娘家？”老伯问。
方芹愣了下，他不想撒谎，只道：“我的确休过两任妻子，全因她们不孝在先。义绝之后，我与她们便两不相干，至于她们而今什么境况我当然不知道。”
“噢——”老伯深长的叹口气，赶紧切了一块豆腐，用荷叶抱起来，递给方芹。“方老爷快拿走吧，我也该收摊了。”
“这豆腐我不能要，您快留着卖钱。不过您今天这么早收？我看这余下的豆腐还这么多。”方芹纳闷问。
“家里有事，余下的做豆干便是。”老伯说罢，便急忙收拾好东西，挑着扁担去了。
方芹感觉到四处投来的异样目光，还有窃窃私语的嘲笑声，想着那老伯的话，遂打算去找个朋友借书，看一看那《邻家秘闻》到底是怎么编排他的。
方芹平时结交的都是些穷人，此刻他陷入污名之后，少数还肯信任他的也是穷人。但这些人多数不识字，只是把道听途说的话转达给他。
方芹想来想去，遂去求昔日的同僚梁乐云。岂料被梁家的家丁臭骂一通，驱赶了出来。方芹倍感屈辱，羞愤至极，当即就想要去衙门状告《邻家秘闻》污蔑他，却被方母给拦下来了。
“傻孩子，你刚被罢了官，最该本分处事。那京畿府的府尹是谁，宋奚，你在御史台顶头上级的挚交好友。官官相护，你又能如何。你此时若去，只怕会被白白打了板子抬回来了。而今你清名在外，会有几个真信这些谣言？等过几天风声就过去了，清者自清，你怕什么。”方母劝慰道。
方芹想想也是这个道理，他身正不怕影子斜，那些人爱怎么说他就怎么说。
总归他做了这么多年的善事，实实在在帮助的人数也有千余，这些人总归是清楚他的人品如何，帮他好好正名。
翌日。
方芹发现左邻右舍对自己的态度更恶了，他家门口甚至还出现了臭粪。方芹想想还是放心不下，就去求葛青来。
葛青来是御史台里同僚中最本分老实的一位。
方芹还是吃了闭门羹，不过这次方芹没有走，就在门口等着。好不容易等到葛青来出门时，把他堵个正着。
葛青来拉不下面子，才把书给了方芹。
“这是我最后一次帮你，拿了这书后，你休要再来找我，以后再见也当不认识你。”葛青来最后看了方芹一眼，涨红着脸，咬了咬牙道，“我耻于和你这样无情无义的伪君子为伍！”
方芹愣了愣，他怎么都没想到自己竟然会被最不起眼的葛青来看不起。待他反应过来，想反驳回去的时候，葛青来早乘车去了。
方芹咬着牙，狠狠地捏着手里的这本被人施舍而来的书，脸火辣辣的。他气得丢了手里的邻家秘闻，转身就去。过往行人见状要去捡，方芹忙喊，又折回把书从路人手里抢了回来。
“要不要脸啊，你丢了，人家捡起来你又抢，有病！”路人朝方芹啐一口，才离开。
方芹气得脸涨成了猪肝紫，最终抓着书跑到一处没人的小巷，便翻阅起《邻家秘闻》。他倒要看看上面瞎写了什么，等会让他定要去告状。京畿府不能告，他就去大理寺告。
方芹逐字逐句读起来，越读速度越慢，手越开始发抖。
这著书人到底是谁，为何把他家里的那点陈年旧时都翻了出来，好些记忆他都已经模糊了，看了这上面的描述才会想起来。还有这书上面有关于匿名者甲乙丙丁提供的证词，说话语气怎么这么眼熟，真好像是他当初在南州城做县令时用得那批人。
还有关于她妹妹嫁进的纭纭村的村民供词，有一句“二老狗的”骂人话也原封不动的写在了上面，这句正是纭纭村内的村民最时常爱说的骂人话，非亲自去过的人不可能知道。
可见这《邻家秘闻》是真的有去纭纭村和南州城调查过。
方芹便是不想承认，心里隐隐感觉的出来，这书上那些匿名人所言的关于他的事都属实。
方芹是不甘心的，他不信自己当初判断有误，怎么可能有人写文章不主观臆断造谣。他一定要抓不《邻家秘闻》的错误，告他们一个诬陷。奈何他从头气愤地粗喘气看到末尾，就没有看到一句擅自论断的话，陈述的见闻都十分真实，所有的调查都在只是描述真实的情况。关于一些匿名人提供的过激言论，他们还会在之后特意注明“此为个人言论许有偏颇”的话。
方芹脸色惨白，靠着墙一屁股坐在地上，紧闭着双唇有些说不出话来。他做这些事儿的时候，从不觉得自己错了什么，一切都照着规矩礼法，为的是大公正义，他问心无愧。可不知为什么，不说别人了，连他自己看了书上的内容描述，都有些开始质疑自己的行为到底是对是错……
“你们听说没有，那些御史们都写文章批判方芹轻贱女人不是东西。”
“本就不是东西，还自诩是什么清官，什么君子，君子能干出欺负女人的事儿，丢不丢人。三个妻子，两个逼死了，最后一个聪明点，晓得去庙里躲着，可到底是做了三年活寡。她妹妹就更惨了，啧啧……我都说不出口。”
“这方母是不是有毛病，能把儿子养成这种货色，我看这对母子俩都不是什么好东西。”
方芹听这话，急忙其实冲到巷口，看见是三个书生满脸笑嘻嘻的议论。
“你们闭嘴，我不许你们对我母亲口出恶言！”方芹冲他们吼道，“有什么冲我来。”
三名书生起初好有点懵，随即听出这人就是方芹，哈哈笑起来，指着方芹的鼻子，骂他伪君子不是东西，装了这么多年清廉大义之人是在叫人恶心。
方芹羞愤难当，听到激动之处，脸红脖子粗，让他们快滚。
书生们偏偏就不滚，嗤笑道：“你当你是什么狗东西，凭什么要我们滚。我们又不是你娶了便可以随便拿‘不孝’罪名打发的媳妇儿，我们也不是你说打发就打发的小妹妹。”
“一个大老爷们，靠负弱女子而活，臊不臊得慌。你既然瞧得那光棍穷汉救人品质高尚，你怎么不自己嫁，你逼你妹妹做什么，你妹妹真是倒八辈子血霉了，投胎到你们方家。不知道她死得时候，是不是发誓要化作厉鬼找你呢！”
“闭嘴！闭嘴！”方芹捂着耳朵大吼。
他越大声，反而吸引越多的人来围观。
三名书生忙介绍方芹的身份。
百姓们之中，妇人表现的最为气愤，抓着烂菜叶子就远远地打过去。