何故か結構ハマったのでメモ。
結論からお伝えしますと以下でいけます。
git init
git remote add origin [リモートリポジトリのURL]
git pull origin master
ちなみにハマった原因はremote addした後にすぐpullせずにaddとかしていたのがまずかった模様。
remote addしただけだとremoteにoriginは追加されていますが、branchが選択されていないのでremoteをlocalが追い越してしまってうまくいかなくなります。
ちなみにpullした際にremoteとlocalに同名のファイルがあるとエラーが出るので一時的に別な名前に変えておいてください。
原因がわかるとそういうことか…って感じなんですが少しハマったので忘れないようにメモしておきます。