立法、执法、司法、普法多环节发力依法防控落在实处

立法、执法、司法、普法多环节共同发力

本报记者 巨云鹏 潘俊强 王伟健 张 文

为了进一步提高效率,研究人员尝试了一个小型的 ELECTRA 模型,该模型可以在 4 天的时间内在单个 GPU 上进行良好的训练。

王凌川在电脑上打开微信,飞快地敲着键盘,对数十条咨询信息一一回复,并不时查阅手边的资料。作为四川川广律所的律师,他加入了律所所在地——四川广元剑阁县司法局组建的“疫情防控法援微信群”,为企业和居民提供疫情相关法律援助。

李连杰是山东省临沂市公安局河东分局相公派出所所长,他所在的派出所有38名民警、辅警,负责街道45个村的巡逻治安,管理服务人口10万人。

研究人员将大型 ELECTRA、RoBERTa、XLNet、BERT 和 ALBERT 模型在 SQuAD 2.0 问题回答数据集的表现做了测试,结果如下表所示;可以看到在 GLUE 排行榜上,ELECTRA 的表现优于其它所有模型。

收到意见,上海市人大常委会法工委立法处工作人员立刻整理,汇总给了《决定》联合起草小组。起草小组成员没有耽搁、当下讨论,达成一致:有业委会的参与,会更好督促物业公司履行防控责任。

此外,学校食堂食品处理区严格实行全封闭管理,非本食堂人员不得进入食品处理区,学校及相关部门人员因工作需进入时,要检测体温合格、戴口罩、穿工作衣帽,做好记录。新京报记者 高杨

随后,经过相关法律程序以及寻找资金和生产准备,短短的一周之内,2月3日,刚松公司已生产出第一批口罩用于防疫。

核心思想——替换令牌检测

之后,为了测试这一结果是否能大规模实施,研究人员使用了更多的计算量(大约与 RoBERTa 相同的数量,大约是 T5 的 10%)训练了一个大型 ELECTRA 模型。

但是,已经进入破产程序的企业,要恢复生产,从程序上来说,要通过债权人会议表决通过,而第一次债权人会议要在3月份才能召开。“疫情防控不能等,后续仍需要大量口罩等防护产品,而刚松公司也具有生产口罩相应的资质和设备,等到3月份决定就太晚了。根据有关法律规定,在债权人会议前也可由管理人来决定是否能够恢复生产,报请人民法院予以许可。”张有顺说。

具体而言,ELECTRA 的目标是学习区分输入的词。它不使用掩码,而是从一个建议分布中采样词来替换输入,这解决了掩码带来的预训练和 fine-tune 不一致的问题。

在加工环节,学校食堂要严格做到生熟食物容器使用分开、存放区域分开、加工过程分开,防止食物交叉污染。中小学、幼儿园不得制售,其他类型学校食堂暂停制售冷荤类食品、生食类食品、裱花糕点。

现有的预训练方法及其缺点。箭头指示哪些标记用于生成给定的输出表示形式(矩形)。左:传统语言模型(例如 GPT)仅使用当前单词左侧的上下文。右:掩码语言模型(例如 BERT)从左到右都使用上下文,但是对于每个输入仅预测一小部分单词

在江苏苏州吴江区,一家停产一年多、已进入破产程序的防护用品企业,从申请恢复生产到产出第一批口罩,只用了一周的时间。

剑阁县里一家企业复工时,一名职工不愿意戴口罩,劝说无果,场面陷入僵持,定点为该企业提供法律服务的司法部门干部杨晓翠匆匆赶到现场。“如果造成传染病传播或者有传播严重危险的,要依法追究当事人的刑事责任……换句话说,你现在不戴口罩就是犯法。”杨晓翠翻开随身带来的法律条款耐心讲解,终于让该职工配合戴上了口罩。疫情发生后,一些企业因复工延迟、生产资料欠缺或因抗疫需要转产调整,可能出现无法履约或用工纠纷等法律问题。对此,剑阁县从司法部门和当地律所抽调志愿者,组建成10余人的企业法律援助团队,与企业逐户对接,通过上门调解、协助代理等方式,帮助当地企业化解了近50件法律纠纷。

正是由于该模型的二进制分类任务适用于每个输入单词,而非仅有少量的掩码单词(在 BERT 样式的模型中为 15%),因此,RTD 方法的效率比 MLM 高。这也解释了为什么 ELECTRA 只需更少的示例,就可以达到与其它语言模型相同性能的原因。

1月27日,吴江区人民法院破产庭庭长张有顺接到一个电话,刚松防护科技股份有限公司管理人要求恢复生产,这家进入破产程序的公司可以生产口罩等防护用品。此前,裁定受理破产后,在法院的指导下,进入破产程序的刚松公司管理人苏州方本会计师事务所已经对库存的口罩开始清点并登记造册。“恢复生产,能够充分发挥债务人产能效用,首先考虑到社会公共利益,也有利于债权人、债务人的利益,我们第一时间向法院提出了申请。”苏州方本会计师事务所负责人说。

“扫这二维码,加入法援微信群,可以免费咨询律师。”在剑阁县各大社区,上门排查疫情的街道办工作人员为每户居民发放疫情防控法律政策单,单子上印着法援微信群二维码。“全县已成立了20多个法援微信群。”剑阁县司法局负责人告诉记者。

正如很多开发者联想到的对抗学习方法,ELECTRA 确实受到到生成对抗网络的启发(GAN)。但不同的是,模型采用的是最大似然而非对抗学习。

其中,替换令牌来自生成器的神经网络。生成器的目标是训练掩码语言模型,即给定输入序列后,按照一定的比例(通常 15%)将输入中的词替换成掩码;然后通过网络得到向量表示;之后再采用 softmax 层,来预测输入序列中掩盖位置的词。

然后模型再训练一个判别器,来预测每个词是原始词还是替换词。而判别器的一个优点则是:模型从输入的所有词中学习,而不是像 MLM 那样,仅使用掩盖的词,因此计算更加有效。

因此,现有的预训练方法通常分为两类:语言模型(LM),例如:GPT。该类方法按照从左到右的顺序处理输入文本,然后在给定先前上下文的情况下,预测下一个单词。

另一个则是掩码语言模型(MLM),例如:BERT,RoBERTa 和 ALBERT。这类模型它们分别预测输入中已被屏蔽的少量单词内容。MLM 相比 LM 而言,具有双向预测的优势,因为它可以看到要预测的单词左侧和右侧的文本。

2月1日中午1点左右,河东分局接到群众举报,在小茅次村有生产伪劣84消毒液窝点。接到举报,河东分局马上给李连杰发指令。“当时我带着3个同事在附近巡逻,就赶紧又调了8个人,赶往小茅次村。”李连杰说,“我们4人一组,兵分三路,逐户摸排。”

山东临沂警方顺藤摸瓜,揪出制售伪劣消毒液团伙

具体实验数据显示,这个小模型比 BERT 小模型在 GLUE 得分上 高 5 个点,甚至比更大的 GPT 模型(该模型使用 30 倍以上的计算能力)效果还要好。

供应商送货人、集体用餐配送单位送餐员每次进入学校时应测量体温。保持食材采购车辆和配送车辆干净卫生,专车专用,净菜、半成品等特殊食材需专用冷藏车配送,每次运输食品前应进行清洗消毒。

雷锋网 AI 源创评论   雷锋网(公众号:雷锋网)

“第二条第四款,在防疫责任主体的认定上,建议把业主委员会也纳入进去,以压实责任”,在为《上海市人民代表大会常务委员会关于全力做好当前新型冠状病毒感染肺炎疫情防控工作的决定》草案(以下简称《决定》)收集意见时,几位市人大代表如是反馈。

x 轴显示用于训练模型的计算量(以 FLOPs 为单位),y 轴显示 dev GLUE 得分。与现有的预训练 NLP 模型相比,ELECTRA 的学习效率要高得多。但值得注意的是,目前 GLUE 上的最佳模型(例如 T5(11B))不适合该图,因为它们使用的计算量比其他模型多得多(比 RoBERTa 多 10 倍)

目前,用于预训练 ELECTRA 并在下游任务上对其进行微调的代码已发布,当前支持的任务包括:文本分类、问题解答和序列标记。

“制假售假有上下游,我们顺藤摸瓜,扩大打假战果。”李连杰说,“莒县有人帮马某冲销售假冒伪劣产品,我们赶赴莒县将嫌疑人何某春抓获。”目前,涉嫌生产销售伪劣产品的犯罪嫌疑人马某冲、何某春被刑事拘留,案件正在进一步侦办中。

抓获犯罪嫌疑人7人,当场查扣生产用原材料及半成品18吨,伪劣84消毒液2.5吨,涉案价值上百万元……在新冠肺炎疫情防控期间,李连杰和他的战友们成功打掉一处制售伪劣84消毒液窝点,防止假冒伪劣消毒液流入市场,贻害群众。

在相同的模型大小、数据、计算量的情况下,该方法的性能显著优于 MLM 类的方法,例如 BERT 和 XLNet;而且,ELECTRA 小模型仅需要在 1 块 GPU 训练 4 天即可得到。

像这样的“征求意见—反馈—讨论—增删”的循环,始于1月29日。当天上午,在上海市人民大厦人大常委会机关412会议室,一次紧急会议召开。“防控新冠肺炎疫情,急需立法赋权有关部门及时采取各类紧急措施。”上海市人大常委会法工委副主任阎锐说。当天下午,上海市卫健委、商务委、经信委、人社局等十几个政府部门的有关负责人就开始了讨论,反映了防疫一线迫切的立法需求。

ELECTRA 使用一种称为替换令牌检测(RTD)的新预训练任务,该任务在从所有输入位置(如:LM)学习的同时,训练双向模型(如:MLM)。

生成器与判别器神经网络模型

之后,生成器和判别器共享相同的输入词嵌入。判别器的目标是判断输入序列每个位置的词是否被生成器替换,如果与原始输入序列对应位置的词不相同,就判别为已替换。

研究人员将 ELECTRA 与其他最新的 NLP 模型进行了比较,发现在给定相同的计算预算的情况下,它与以前的方法相比有了实质性的改进,其性能与 RoBERTa 和 XLNet 相当,而使用的计算量不到 1/4。

在采购环节,学校食堂需严格执行食品原料索证索票和进货查验制度。严格做好畜禽肉及其制品的合格证明、交易凭证等票证查验和台账记录。对采购的猪肉要查验和留存“两证一报告”(动物检疫合格证明、肉品品质检验合格证明、非洲猪瘟检测报告)。

“在疫情防控中普法、讲法,有利于稳定人心。”王凌川组织了十多名律所的同事加入微信群,为疫情引发的法律问题答疑解惑。同时,他不断在群里转发违反疫情防控规定的违法案例,并配上专业点评,为大家普法。

雷锋网原创文章,。详情见转载须知。

2月7日上午,上海市人大常委会会议审议并通过了《决定》。第二天,上海市政府发布通告,依据《决定》,要求全市严格执行公共场所体温监测和佩戴口罩的措施。此外,《决定》规定,个人隐瞒病史的,除依法严格追究相应法律责任外,有关部门应当将其失信信息向公共信用信息平台归集,并依法采取惩戒措施。

接到电话的第二天,吴江区法院法官紧急赶赴企业所在地汾湖高新区管委会商讨恢复生产事宜。经过与破产企业管理人、当地政府的多方论证磋商和实地勘察,吴江法院现场作出许可刚松防护科技股份有限公司恢复生产的决定,要求管理人尽快寻找相关行业内的专业人员和投资者。“工人都在本地,我们有快速恢复生产的有利条件。”刚松防护科技股份有限公司总经理蒋红元介绍。

从所有输入位置学习时,替换的令牌检测可进行双向训练

同时,学校食堂要落实餐品留样规定,每个品种留样量200g以上,留样48小时,留样记录完整、准确,确保可追溯。

例如下图中,单词「cooked」可以替换为「ate」。尽管这有些道理,但它并不适合整个上下文。预训练任务需要模型(即鉴别器)来确定原始输入中的哪些标记已被替换或保持相同。

村子有些大,大约摸排了40分钟,李连杰带的那一组,在村东头发现:一条巷子里,有5个人正往一个桶里倒水,巷子外也弥漫着刺鼻的气味。“看样子就是这,赶紧通知其他小组,过来围捕。”李连杰悄声命令,人手不够,贸然出击,他怕打草惊蛇。不一会儿,12人全部到位,进行围堵抓捕,犯罪嫌疑人当场被抓获。几天后,该窝点老板马某冲投案自首。

四川剑阁县法律服务覆盖线上线下,推动企业群众守法

三次征求市政府相关部门的意见,两次征求常委会组成人员的意见,广泛征求政协、法院、检察院、基层立法联系点等单位以及市人大代表、有关专家的意见……

而 ELECTRA 在使用少于 1/4 的计算量时,可以在 GLUE 自然语言理解基准上达到 RoBERTa 和 XLNet 的性能。如果使用更多的计算机来训练大型 ELECTRA,该模型在 SQuAD 2.0 的问答数据集和语言理解任务的排行榜上,获得了最先进的表现。(具体数据见第四小节)

尽管无法达到与需要训练许多 TPU 的大型模型相同的精度,但 ELECTRA-small 的性能仍然很好,甚至比 GPT 还要好,而所需的计算量却只有其三分之一。

但 MLM 模型预测也有缺点,这些模型的预测仅限于输入标记的某个很小的子集(被掩盖部分的 15%),从而减少了他们从每个句子中获得信息的量,增加了计算成本。

这些方法虽然在设计上有所不同,但在利用特定的 NLP 任务(例如:情感分析和问题解答等)进行微调时,有着相同思路,即:利用大量未标记的文本,来构建语言理解的通用模型。

近年来,语言预训练模型的最新进展使得自然语言处理也取得了重大进展,其中不乏一些最先进的模型,例如:BERT,RoBERTa,XLNet,ALBERT 和 T5 等。

但相比大型 T5-11b 模型,后者在 GLUE 上的得分仍然更高。但值得注意的是,ELECTRA 的大小是其三分之一,并使用 10%的计算进行训练。

“受疫情影响,已经签订的合同不能履行了,怎么办?”“这场疫情属于突发公共卫生事件,属于不可抗力,可以解除合同。”

江苏苏州法院依法恢复破产企业生产,保障防护物资供应

疫情防控越是到最吃劲的时候,越要坚持依法防控。在党中央集中统一领导下,立法、执法、司法等多部门积极行动,各环节共同发力,全面提高依法治理能力,为疫情防控工作提供了有力法治保障。

2月1日完成厂区消毒;2月2日完成生产调配;2月3日企业试生产成功,第一条生产线每天可生产KN95口罩2万个,一次性无纺布口罩10万个……

尽管生成器的结构类似于 GAN,但由于难以将该方法应用于文本任务,因此得到的训练目标函数为掩盖词的最大似然。

上海人大常委会立法,为防控疫情提供法律保障

食品售卖人员一律使用经消毒的专用工具并佩戴口罩和手套,销售中少用语言交流,与服务对象保持1米以上安全距离。

rebonson.com