Rachat de crédit immobilier pour locatif

Bonjour,
Mon mari a contracté un pret immo pour résidence principal avant que nous ne nous connaissions.
Nous vivons actuellement dedans, et allons faire construire notre maison.
Nous pensons racheter le crédit actu (reste 4ans mais mensualités lourdes) pour le faire sur 20 ans en locatif (quand nous vivrons dans notre futur projet).
Voilà,
un banquier nous dit que juridiquement nous pouvons car son bien, devient par le rachat le notre, et donc pas de problème pour rallonger et mettre sur 20 ans.
Un autre banquier nous dit attention ! droit fiscal risque de redressement fiscal...
Sommes un peu perdu...

quels sont nos droits alors?
Devrons nous vendre?

Merci

Evelyne