Radikale Venstre forlod forhandlingerne om udmøntning af milliarder fra Nybyggerifonden, fordi partiet savnede en stærkere grøn profil i aftalen, siger boligordfører.