依据我国刑事诉讼法的规定,书记员需要回避的应该由负责审理案件的人民法院的院长作出决定。

【法律依据】

《刑事诉讼法》第三十一条规定, 审判人员、检察人员、侦查人员的回避,应当分别由院长、检察长、公安机关负责人决定;院长的回避,由本院审判委员会决定;检察长和公安机关负责人的回避,由同级人民检察院检察委员会决定。

对侦查人员的回避作出决定前,侦查人员不能停止对案件的侦查。

对驳回申请回避的决定,当事人及其法定代理人可以申请复议一次。