根据《山东省国家税务局普通发票监控管理办法》（2014年第7号公告）的规定：纳税人向消费者销售商品或提供应税劳务服务时，数额在10元（含）以上的，必须按规定开具发票；如果消费者索要发票，无论金额大小，一律予以按规定开具。该纳税人此种理由不开发票是不正确的。
另根据《财政部 税务总局关于实施小微企业普惠性税收减免政策的通知》（财税〔2019〕13号）的规定，小规模纳税人发生增值税应税销售行为，合计月销售额未超过10万元（以1个季度为1个纳税期的，季度销售额未超过30万元，下同）的，免征增值税。经核实主管税务机关高区税务局，该店4月份办理了税务登记，将于6月底根据其实际经营情况核定其是否享受上述优惠政策。