Minimal reproduction:

(with-temp-buffer
  (let ((last-nonmenu-event nil)
(use-dialog-box t)
(oldbuf (current-buffer)))
    (yes-or-no-p "")
    (cl-assert (equal oldbuf (current-buffer)))))

Seems that yes-or-no-p switches buffers when the dialog box is used.
-- 

Google Germany GmbH
Erika-Mann-Straße 33
80636 München

Registergericht und -nummer: Hamburg, HRB 86891
Sitz der Gesellschaft: Hamburg
Geschäftsführer: Matthew Scott Sucherman, Paul Terence Manicle

Diese E-Mail ist vertraulich. Wenn Sie nicht der richtige Adressat sind,
leiten Sie diese bitte nicht weiter, informieren Sie den Absender und
löschen Sie die E-Mail und alle Anhänge. Vielen Dank.

This e-mail is confidential. If you are not the right addressee please do
not forward it, please inform the sender, and please erase this e-mail
including any attachments. Thanks.