回避缘由是指行政机关工作人员与行政相对人之间因何种理由，导致行政相对人认为其不能公平处理行政事务的心理偏向。从各国行政程序法的规定看，回避缘由内容在表述上不尽一致，如“个人偏见”、“招致不公平事由”、“偏袒嫌疑”和“利害关系”等。可见，回避缘由既有行政相对人的主观断定，如“偏见”，也有人无法转变的客观存在，如“利害关系”。现分述如下：1.“偏见”。偏见，偏于一方面的见解。在法律上，这种个人的“偏于一方面的见解”形成于行政机关工作人员在未懂得全部案情之前，或者其因民族、种族、性别等非人为因素而对某些事情况成的见解，如印度电影《拉兹》中拉兹父亲的“名言”：“法官的儿子是法官，贼的儿子就是贼。”对于有偏见的行政机关工作人员来说，全面、客观地懂得案件真实情况对于他来说已并不重要，他对案件的处理在心坎早已有了结论，法律程序作为形成行政决定的过程变成了“过场”。有时，行政机关基于职能的交叉，也会导致他事先介入了案件的处理。如在英国，“一个广泛的问题就是，裁决人以某种别的身份已经与案件相连累。这在治安法官的情况中尤其容易涌现，他们可以同时充当处所当局或其他行政机构的成员。”在这样的情况下，行政机关也会产生的某种“偏见。这些“偏见”是否构成法律上的偏见，需要作进一步的分析。如“先入为主”本身就是个人偏见的表现情势之一，但是他并不必定构成个人偏见。如在美国联邦贸易委员会诉水泥协会案中，联邦贸易委员会经过调查认定水泥工业中多种价格制度是联邦贸易法所禁止的不正当手段，为此，联邦贸易委员会对水泥协会提出指控。在联邦贸易委员会主持的程序中，水泥协会认为联邦贸易委员会对此案有先入之见，即以偏见为由恳求联邦贸易委员会回避。联邦贸易委员会否决了这一恳求，并受到了联邦最高法院的支撑。因此，行政回避中的“偏见”不能也不必作广义上的懂得。如果过度地扩大“偏见”的外延，可能会使行政机关难以有效地行使行政职权。2.利害关系。利害关系，系指案件处理的成果影响到负责处理案件的行政机关工作人员的金钱、名誉、友谊、亲情等增长或减损。人在作为一个社会人时，他始终处于各种利害关系中，离开了这种利害关系，他是无法生存的。因此，人所处的社会关系本质上就是利害关系。行政机关工作人员虽然是经过比较严格的法律程序提拔出来的，但这种提拔程序并没有隔绝其与社会其他成员的关系。基于人天生所俱有的趋利避害的本性，行政机关工作人员在行使职权时有时可能会屈服与其有利害关系成员的无理请求，如自己儿子的老师说情，亲朋好友的劝告等，都可能会导致行政机关工作人员失去公平而徇私枉法。因此，利害关系构成了法律上回避的另一个缘由。然而，利害关系本身的内涵极其复杂，如果将所有的利害关系都纳入回避缘由，可能导致行政机关中没有一个符合法律规定的行政机关工作人员来行使本案的处理职权。因此，下列几种利害关系可以不列入“回避缘由”：(1)罚没款与行政机关工作人员的收入关系。在美国1927年的塔迈诉俄亥俄州案中，市镇法官的报酬来自市法院所判决的罚金，最高法院认为在这种情况下，法官对于判决的成果，有直接的金钱利害关系，不符合正当的法律程序，因此撤销了这个判决。另一个案件中，市镇长官负责市政的财政收入。最高法院认为由市镇长官主持的市法院所判决的违背交通规矩的罚款，不是由大公无私的裁判官所主持，不符合正当的法律程序。[5]从我国的实际情况看，美国的这种做法显然是行不通的。尽管我国行政处分法创设了罚没款收支两条线，但是，财政部门返回罚没款的比例与行政机关上交罚没款额之间仍然存在着事实上的比例关系，至于税务机关可以从税收额中留存，国土资源管理部门可以从出让国有土地有偿应用费中提留等，都阐明了这些行政机关处理相干案件中存在着利害关系。如果隔绝这种利害关系，行政机关工作人员可能会丧失行使职权的积极性。(2)师生关系、同(学)籍关系以及曾经为同事、高低级关系等。这些关系在行政案件中经常可以构成了行政法律关系的双方主体。如果这种关系成为回避缘由，可能会导致行政机关工作人员动则得辄。回避缘由可能引起行政机关工作人员不公平行使职权，这很大程度上也是当事人的心坎感受。这种利害关系如同费孝通先生所说的，人与他人的关系如同向河中扔一块砖头，引起的波纹由近及远，直至消散。回避缘由的利害关系毕竟划定于何处，应当考虑特定传统文化下人们对这种利害关系的认识程度。