如果你因为被骚扰者不断骚扰而导致工作失误,你可能有权向骚扰者索赔。根据《民法典》相关规定,因侵权行为造成他人损害的,应当承担侵权责任。骚扰行为若影响了你的工作并导致经济损失,你可以考虑通过民事诉讼要求骚扰者赔偿。此外,《中华人民共和国治安管理处罚法》也支持对干扰正常生活的行为进行处罚,为索赔提供了法律依据。