工地最怕的单位或部门有以下几个：
住建局：
住建局负责监管建筑工程的质量和安全，如果工地出现不规范操作或质量问题，可能会被住建局停工整改，给工地带来重大损失。
国家建筑工程质量监督检验中心：
该部门负责建设工程质量和工程检测的监督管理工作，有权对施工方进行监督检查，并提出处罚建议或实施行政处罚。
安监局：
安监局负责监督施工现场的安全，对施工方的安全违章行为可以直接进行考核和罚款，甚至取消施工资格。
质监站：
质监站负责施工工程的监督和检查，确保工程质量符合标准，对不符合规定的工程会要求停工整改和处罚。
城建部门：
城建部门负责城市建设和管理，对夜间施工、噪音污染和扬尘污染等违法行为有权进行查处，包括罚款和停工等处罚。
环保部门：
环保部门关注施工过程中的噪音污染和扬尘污染问题，违反相关规定将面临高额罚款和停工等处罚。
社会保险行政部门：
该部门负责工伤的认定和赔付，建筑商需在规定时间内提出工伤认定申请，否则需承担相应费用，是建筑商较为担忧的部门。
综上所述，工地最怕的单位或部门包括住建局、国家建筑工程质量监督检验中心、安监局、质监站、城建部门、环保部门和社会保险行政部门。这些单位或部门在各自的职责范围内对工地进行监管，确保工程质量和安全，对违规工地采取相应的处罚措施。
