Для того чтобы отыскать дыру в окне из которой дует, отрежьте бумажную полоску. После чего откройте окно, вставьте под уплотнитель эту полоску перпендикулярно краю створки, затем закрываете створку и тяните. Когда тянется с усилием, это значит, что уплотнитель прижат, а если нет, то вы нашли искомую дыру. Обследуйте так весь периметр створки, таким образов вы узнаете, герметичны притворы створки у вас или нет.
Исходя из ваших рассказав, то, скорее всего, дует через кладку под подоконником. Пока что повесьте плотные шторы, чтобы не застудить семью. Они все равно будут нужны – во время проветривания, чтобы не было уличного шума.