扣留劳动手册离职，在最后交接过程中，…

扣留劳动手册离职，在最后交接过程中，发现有货物丢失的情况，如果公司责令我赔，被我拒绝，在此情况下公司是否有权扣留我劳动手册？如被扣留，请问我该如何拿回？