山地违建通常是归当地土地行政主管部门管理，如果牵涉到森林、林木和林地，个人所有的林木和使用的林地，由林业主管部门管理。
县级以上地方人民政府土地行政主管部门的设置及其职责，由省、自治区、直辖市人民政府根据国务院有关规定确定。
土地管理部门是依法主管土地保护、开发、利用统一管理工作的政府职能部门。国务院土地管理部门是国家土地管理局，它主管全国土地的统一管理工作，其主要职责为：拟订和贯彻、执行关于土地的法律、法规与方针、政策；主管全国土地的调查、统计、登记和发证工作；组织有关部门编制土地利用总体规划；管理全国土地征用和划拨工作，负责需要国务院批准的征、拨用地的审查、报批；调查研究，解决土地管理中的重大问题；对各地、各部门的土地利用情况进行检查、监督，并做好协调工作；会同有关部门解决土地纠纷，查处重大违法案件；等等。县级以上地方人民政府土地管理部门主管本行政区域内的土地的统一管理工作，机构设置由省、自治区、直辖市根据实际情况确定。目前，一般都设置了土地管理局，在基层，乡级人民政府负责本行政区域内的土地管理工作。
国家所有的和集体所有的森林、林木和林地，个人所有的林木和使用的林地，由县级以上地方人民政府登记造册，发放证书，确认所有权或者使用权。国务院可以授权国务院林业主管部门，对国务院确定的国家所有的重点林区的森林、林木和林地登记造册，发放证书，并通知有关地方人民政府。
林业主管部门是指对全国林业生产和建设负有行政管理和指导义务与责任的行政事业单位。其具体构成是由国务院领导下的国家林业局，各省、自治区设立的林业厅（局）及县、市级林业局和乡镇林业工作站。其主要的职责是研究拟定森林生态环境建设、森林资源保护和国土绿化的方针、政策，组织起草有关的法律法规并监督实施；监督全国林业资金的管理和使用；组织开展植树造林和封山育林工作；组织、指导以植树种草等生物措施防治水土流失和防沙、治沙工作；组织、协调防治荒漠化方面的国际公约的履约工作等。
有其他违法犯罪行为，国家公检法可以根据其职责范围行使职能。
相关法律依据：
《中华人民共和国土地管理法》
第五条 国务院土地行政主管部门统一负责全国土地的管理和监督工作。
县级以上地方人民政府土地行政主管部门的设置及其职责，由省、自治区、直辖市人民政府根据国务院有关规定确定。
《中华人民共和国土地管理法》
第三条 森林资源属于国家所有，由法律规定属于集体所有的除外。
国家所有的和集体所有的森林、林木和林地，个人所有的林木和使用的林地，由县级以上地方人民政府登记造册，发放证书，确认所有权或者使用权。国务院可以授权国务院林业主管部门，对国务院确定的国家所有的重点林区的森林、林木和林地登记造册，发放证书，并通知有关地方人民政府。
森林、林木、林地的所有者和使用者的合法权益，受法律保护，任何单位和个人不得侵犯。