Portsoy, Hafen