Las distribuciones que había usado hasta ahora tenían este comportamiento por defecto, pero el vim de Alpine Linux no es así. Para activarlo, hay que editar el archivo /etc/vim/vimrc y añadir
if has("autocmd")
au BufReadPost * if line("'\"") > 1 && line("'\"") <= line("$") | exe "normal! g'\"" | endif
endif
genio