見えている物が違うのか？

その1：車に乗ってお蕎麦屋さんを探してるとき　旦那「あーあそこの、のぼりの所か？」私「（あ、蕎麦ののぼりが立ってる）うん、そうだね」旦那、蕎麦屋とは違う方向にハンドルを切る。えっ…あっちののぼりはモデルハウスのだよ！
その2：ある集まりで旦那「あの人がＡさんだよね」私「（Ａさん、主催者だよね、さっき挨拶してた）うん（白い服の人）」旦那、Ａさんの隣りの別人に挨拶し始める。
というふうに、同じ場面を見ていても、「あれ」とか「あそこ」を指す対象が私と一致しません。
場所を説明しても、「あーわかった」と言いつつ実は全然わかっておらず、全く違う場所に行くこともしばしば。
見えている物が違うのか？些細な事かもしれませんが、いつも食い違って疲れます。