Если да, то в каких случаях это можно сделать, и должна ли быть у меня на руках эта самая доверенность.

ВЫ, можете отменить довереность на основании п.1 ст.188 ГК РФ, вы просто отменяете доверенность для этого необходимо провести действия предусмотренные ст.189 ГК РФ:

1. Лицо, выдавшее доверенность и впоследствии отменившее ее, обязано известить об отмене лицо, которому доверенность выдана, а также известных ему третьих лиц, для представительства перед которыми дана доверенность. Такая же обязанность возлагается на правопреемников лица, выдавшего доверенность, в случаях ее прекращения по основаниям, предусмотренным в подпунктах 4 и 6 пункта 1 статьи 188 настоящего Кодекса.

2. Права и обязанности, возникшие в результате действий лица, которому выдана доверенность, до того, как это лицо узнало или должно было узнать о ее прекращении, сохраняют силу для выдавшего доверенность и его правопреемников в отношении третьих лиц. Это правило не применяется, если третье лицо знало или должно было знать, что действие доверенности прекратилось.

3. По прекращении доверенности лицо, которому она выдана, или его правопреемники обязаны немедленно вернуть доверенность.

Комментарий к статье 189

1. Представляемый, отменяющий выданную доверенность, обязан сообщить об этом своему представителю, а также известным ему третьим лицам, для представительства перед которыми предназначалась доверенность. В случае прекращения доверенности по основаниям, предусмотренным подп. 4, 6 ст. 188 ГК, аналогичная обязанность возлагается на правопреемников лица, выдавшего доверенность (правопреемников реорганизованного юридического лица, наследников умершего гражданина, а также на опекуна лица, признанного недееспособным, попечителя лица, ограниченного в дееспособности, управляющего имуществом безвестно отсутствующего).

2. Доверенность прекращается с момента наступления одного из обстоятельств, установленных в п. 1 ст. 188 ГК. Деятельность представителя после прекращения доверенности признается представительством без полномочий. Исключение составляют случаи, когда при совершении действий представитель не знал и не мог знать о прекращении доверенности. В этом случае представляемый (его правопреемники) обязан принять все исполненное представителем. Вместе с тем сделка, заключенная после прекращения доверенности, оспорима. Суд может признать данную сделку недействительной, если доказано, что третье лицо при заключении представителем сделки знало или должно было знать, что доверенность утратила силу.

3. Прекращенная доверенность должна быть возвращена представителем (его правопреемником) лицу, ее выдавшему, чтобы предотвратить возможность ее дальнейшего неправомерного использования.

С уважением.