根据我国婚姻法的规定，法律上的扶养义务是：夫妻有互相扶养的义务;父母对未成年子女有抚养教育的义务;成年子女对父母有赡养扶助的义务：父母子女之间的关系，不因父母离婚而消除，离婚后父母对子女仍有抚养相教育的义务;养父母与养子女、继父母与继子女之间的权利义务均与生父母与其子女之间的抚养、赡养义务相同，但是养子女和生父母间的权利和义务，因收养关系的成立而消除;非婚生子女享有与婚生子女同等的权利，其生父母应负担子女必要的生活费和教育费的一部或者全部，直到子女能独立生活为止;祖父母、外祖父母，对于父母已经死亡的未成年的孙子女、外孙子女，有抚养的义务;孙子女、外孙子女对于子女已经死亡的祖父母、外祖父母，有赡养的义务;兄姐对于父母已经死亡或者无力扶养的未成年弟、妹，有扶养的义务。

根据上述规定，对于法律不负有扶养义务的远亲属拒绝扶养的，不应认为是遗弃行为。但是，按照立法精神和社会主义道德的要求，具有以下情形的，应认为负有抚养的权利义务关系：由法律上不负有抚养义务的人抚养成人的人，对抚养人应负有赡养扶助的义务;在长期生活中互相形成的道义上的抚养关系，如老保姆不计较待遇，多年帮助雇主抚育子女、操持家务等，雇用一方言明养其晚年，对于这种赡养扶助关系，应予确认和保护。