Я ИП, имею ли я право на то чтобы не работать с каким либо физ. лицом не объясняя причин?

Нет, если о деятельности как ИП.

ГК РФ.

"Статья 426. Публичный договор

1. Публичным договором признается договор, заключенный коммерческой организацией и устанавливающий ее обязанности по продаже товаров, выполнению работ или оказанию услуг, которые такая организация по характеру своей деятельности должна осуществлять в отношении каждого, кто к ней обратится (розничная торговля, перевозка транспортом общего пользования, услуги связи, энергоснабжение, медицинское, гостиничное обслуживание и т.п.).

Коммерческая организация не вправе оказывать предпочтение одному лицу перед другим в отношении заключения публичного договора, кроме случаев, предусмотренных законом и иными правовыми актами.

2. Цена товаров, работ и услуг, а также иные условия публичного договора устанавливаются одинаковыми для всех потребителей, за исключением случаев, когда законом и иными правовыми актами допускается предоставление льгот для отдельных категорий потребителей.

3. Отказ коммерческой организации от заключения публичного договора при наличии возможности предоставить потребителю соответствующие товары, услуги, выполнить для него соответствующие работы не допускается.

При необоснованном уклонении коммерческой организации от заключения публичного договора применяются положения, предусмотренные пунктом 4 статьи 445 настоящего Кодекса.

4. В случаях, предусмотренных законом, Правительство Российской Федерации, а также уполномоченные Правительством Российской Федерации федеральные органы исполнительной власти могут издавать правила, обязательные для сторон при заключении и исполнении публичных договоров (типовые договоры, положения и т.п.).

5. Условия публичного договора, не соответствующие требованиям, установленным пунктами 2 и 4 настоящей статьи, ничтожны".