主要关系：与教育行政部门及其职能处室的关系，与教育科研部门的关系，与群众团体之间的关系，地方三级教育督导机构之间的关系等，其中教育督导机构与教育行政部门及其职能处室的关系是影响和保证教育督导工作顺利进行的重要方面，必须理顺和正确处理。
联系：就我国现行的教育行政体制而言，教育行政部门和教育督导机构都是人民政府领导下的教育行政管理的职能部门。其工作的终极目标是共通的，即根据国家的教育方针、政策、法规，维持教育工作的良性运作，推进教育的改革与发展，使教育更好地为社会主义现代化建设服务。其工作的对象是下级教育行政部门和学校。因此，教育督导机构与教育行政部门及其有关职能单位有着必然的联系。这就要求在履行职责过程中互相沟通，密切合作。
区别：教育督导机构和教育行政各职能部门又是人民政府领导下的两个独立部门，在整个教育行政体系中具有不同的职责、任务，发挥着不同的功用。教育督导是教育行政管理体系中的监控部门，是行政管理过程中的检查反馈环节。其主要职责是对下级、学校贯彻执行国家的教育方针、政策、法规的情况，教育改革与发展的状况，进行监督、检查、评估、指导；对上进行参谋、反馈；不参与行政管理的日常工作和决策计划的执行。教育行政部门及其内部的职能单位是教育行政管理体系中的决策、执行部门，主要职责是根据所辖区域的实际，组织贯彻执行国家的有关的教育方针、政策、法规等，提供必要的教育设施、经费、人员，提供教育教学的专业指导，以维持教育的良性运转，推动教育工作的发展。在履行以上的职责时，教育行政部门要遵循教育管理过程的一般规律，即计划（决策）、实施（执行）、检查总结、反馈调整。就是说，在具体的行政行为过程中，除了计划和组织实施外，通常也进行为该部门的计划与实施服务的自我检查、自我反馈、自我调节的工作。因此说，教育督导机构与教育行政部门及其内部职能单位各有其职能范围，他们必须各司其职，各负其责，各尽所能。