La carpeta Public, viene por defecto en el equipo y no la puedes borrar; y como su nombre lo indica, es de acceso público. Lo que puedes hacer es no colocar nada ahí y crear usuarios con sus repectivos permisos y privilegios. La otra opción es que el disco duro no esté en el grupo de trabajo general, sino en uno específico solo para los usuarios que se designe.