être surdoué c’est compliqué

Ce que tu décris semble plutôt dû à l'hypersensibilité.
J'avais ce même sentiment, je l'ai encore parfois, mais j'essaie de comprendre chaque personne et de ne pas la juger. Chaque fois que je commence à m'énerver, j'essaie de regarder le problème de façon objective et de comprendre le cheminement de pensée de la personne afin de prendre du recul, ce qui me permet de me calmer. Au bout d'un moment, on commence à moins s'irriter de toutes ces petites attitudes qui nous semblent complètement idiotes et on s'énerve moins.
Plus on accepte les autres, moins on est irrité et finalement, c'est en étant plus serein que l'on commence à rencontrer des personnes qui nous correspondent plus, qui sont plus proches de notre façon de penser et qui nous réconcilient avec les autres. Si on a suffisamment de personnes qui nous conviennent autour de nous, les attitudes des autres deviennent moins importantes et on les accepte encore mieux.

Je deviens comme ça aussi en vieillissant, je crois que c'est parce que
j'ai de plus en plus conscience de choses et de moi-même,
je perçois l'immensité des différences avec les autres qui se creuse, et n'étant entouré que de gens toxiques une douce colère se forme en moi.

Si c'est ça pour moi, j'imagine que l'avantage est que je reconnaitrai de mieux en mieux les "bonnes" personnes.