发烧一般是指发热。通常情况下，小孩下午体温37.4摄氏度通常不算发热。需要注意的是体温测量部位的不同可能会导致测量结果的差异。一般来说，口腔测量的体温范围在36.3摄氏度至37.2摄氏度之间，肛门测量的体温范围在36.5摄氏度至37.5摄氏度之间，腋下测量的体温范围在36.0摄氏度至37.4摄氏度之间。因此，如果小孩下午腋下测量的体温为37.4摄氏度，可以认为是正常的生理波动，不需要特殊处理。

但是，如果小孩的体温持续上升，或者伴随有其他症状，比如咳嗽、流鼻涕、呕吐、腹泻等，建议及时就医，以便医生进行进一步的诊断和治疗。同时，家长也应该注意小孩的衣着、饮食和休息，保持室内空气流通，以帮助小孩恢复健康。