通常情况下，胳膊起小水泡很痒可能是湿疹引起的，也有可能是水痘、带状疱疹等引起的，一般可通过药物的方式进行治疗。

1、湿疹：由于皮肤过敏、干燥、感染等引起的，可能会出现皮肤发红、起小水泡、瘙痒、脱屑等症状，可在医生指导下使用抗组胺类药物治疗，如盐酸西替利嗪片、盐酸苯海拉明片等。

2、水痘：因感染水痘带状疱疹病毒会出现水疱、丘疹，还可能会伴有发热及瘙痒等症状。可遵医嘱口服抗病毒药物进行治疗，例如阿昔洛韦片，盐酸伐昔洛韦片等，并进行隔离。

3、带状疱疹：因感染疱疹性病毒引起的，可能会出现片状红斑、水疱，伴有疼痛、瘙痒、麻木等症状，可遵医嘱使用抗病毒药物治疗，如盐酸伐昔洛韦片、阿昔洛韦片等。

此外，还有可能是药物反应、过敏性皮炎、丘疹性荨麻疹等引起的。建议及时到医院就诊，通过相应的检查，确诊后在医生的指导下对症治疗。