U ki@sddlTddlZddlZeZddddddd d d d d ddddddddddddddddddd d!d"d#d$d%d&d'd(d)d*d+d,d-d.d/d0d1d2d3d4d5d6d7d8d9d:d;dd?d@dAdBdCdDdEdFdGdHdIdJdKdLdMdNdOdPdQdRdSdTdUdVdWdXdYdZd[d\d]d^d_d`dadbdcdddedfdgdhdidjdkdldmdndodpdqdrdsdtdudvdwdxdydzd{d|d}d~dddddddddddddddddddddddddddgZdddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddd d d d d dddddddddddgZd daddnd\dFd+ddNg ZdddddgZe eeeZ d d!d"d#d$d%d&d'd(d)d*d+d,d-d.d/d0d1d2d3d4d5d6d7d8d9d:d;d<d=d>d?d@dAdBdCdDdEdFdGdHdIdJdKdLdMdNdOdPdQdRdSdTdUdVdWdXdYdZd[d\d]d^d_d`dadbdcdddedfdgdhdidjdkdldmdndodpdqdrdsdtdudvdwdxdydzd{d|d}d~dddddddddddddddddddgrZ GdddZ e Z edddZddZddZddZddddddddddddddddddddddddddddddddddddddddÐdĐdŐdƐdǐdȐdɐdʐdːd̐d͐ddg4ZdϐdЄZdѐd҄ZdӐdԄZdՐdքZdS()*Nuиuвuвоuнеuчтоuоннаuяссоuкакuаuтоuвсеuонаuтакuегоuноuдаuтыuкуuжевызаuбыпоu толькоuееuмнеuбылоuвототuменяuещеuнетuоизuемуu теперьu когдаuдажеuнуu вдругuлиuеслиuужеuилиuниuбытьuбылuнегодоuвасu нибудьu опятьuужuвамuведьuтамu потомuсебяu ничегоuейu можетuониuтутuгдеестьuнадоuнейuдляuмыuтебяuихuчемuбылаuсамuчтобuбезu будтоuчегоразuтожеuсебеподu будетuжu тогдаuктоuэтотuтогоu потомуu этогоu какойu совсемuнимu здесьuэтомuодинu почтиuмойuтемu чтобыuнееu сейчасuбылиuкудаu зачемuвсехuникогдаu можноприuнаконецuдваобu другойuхотьu послеuнадu большеuтотu черезuэтиuнаспроu всегоuнихu какаяu многоu развеuтриuэтуuмояuвпрочемu хорошоuсвоюuэтойu передu иногдаu лучшеuчутьuтомu нельзяu такойuимu болееu всегдаuконечноuвсюu междуimeZmyZmyselfZweZourZoursZ ourselvesZyouZyourZyoursZyourselfZ yourselvesheZhimZhisZhimselfZsheZherZhersZherselfitZitsZitselfZtheyZthemZtheirZtheirsZ themselvesZwhatwhichZwhoZwhomthisthatZtheseZthoseamisZareZwasZwerebeZbeenZbeingZhaveZhasZhadZhavingZdoZdoesZdidZdoingaZanZtheandZbutiforZbecauseasZuntilwhileZofZatZbyforwithZaboutZagainstZbetweenZintoZthroughZduringbeforeZafterZaboveZbelowtofromZupZdowninoutZonZoffZoverZunderZagainZfurtherZthenoncehereZthereZwhenwherewhyZhowallanyZbothZeachZfewZmoreZmostotherZsomeZsuchnoZnornotZonlyZownZsameZsoZthanZtooZverystZcanZwillZjustZdonZshouldZnowu почемуu можешьdocZwwwhttphttpsmailtouоооuаоuпаоuзаоuипuгкuндсuндфлuуснu основuенвдuпснuфнсuцбuмфцuгисu гибддuмчсuжкхuрждuаэсuтэцuгэсuввпuвнпuсммuсеоuсемuцаuцпuкпuкпиuкпэuкпдuокрuвлuсрмuерпuбиuииuмлuдлuнлпuквuивuврuдрuуиuюиuксuхрu девопсuсиайuсидиu кьюэйuдинсuайпиu юэрылu юэрайuхттпu хттпсu эсэсэлu тиэлэсu эсэсэйu эфтипиuрестuсоапuджейсонuиксэмэлuэйчтиэмэлu сиэсэсu джейэсu диоэмu сиэмэсu сиэрымu иэрпиuбиайuайтиu айотиuвиэрuэйрuюиксuюайuвпнuлвсuгвсuрэмuромuцпуuгпуu эсэсдиuэйчдидиuбпuсвоu пэнэлu битубиu битусиu ситусиuбитуджиu эрэндиu эмэнэйuэйсиэйпиu тибидиu тибиэйuэфкьюэйu эйчарuпиарu сиэсэрu юэспиu эмвипиu эсэлэйu эндиэйu айпиоc@seZdZddZeedddZeedddZedd d Zeedd d Zeedd dZ eedddZ edddZ edddZ dS)RussianVerbAspectConvertercCsddddddddd d d d d ddddddddddddddddddd d!d"d#d$d%d&d'd(d)d*d+d,d-d.d/d0d1d2d3d4d5d6d7d8d9d:d;dd?d@dAdBdCdDdEdFdGdHdIdJdKdKdLdMdNd&dOdPdQdRdSdTdUdVdWdXdYdZd[d\d]d^d_d`dadbdcd,dddedfdgdhdidjdkdldmdndodpdqdrdsdtdudvdwdxdydzd{d|d}d~dddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddd|_dd|jD|_dddddddddddddddddddddg|_ddddddddd|_dddd d d |_d{d|d d~dddd ddddh |_dS( Nu делатьu писатьu читатьuговоритьu видетьuслышатьuстроитьu учитьuработатьuготовитьuоткрыватьuзакрыватьuначинатьuзаканчиватьuпокупатьuпродаватьu даватьuполучатьuобъяснятьuпониматьu решатьuспрашиватьuвстречатьuпомнитьu ждатьu искатьu терятьuизучатьu менятьuсмотретьuслушатьu игратьuпетьuтанцеватьuпутешествоватьuотдыхатьu спатьr uпитьu братьu кластьuставитьu вешатьu резатьuмытьuчиститьuплатитьuотвечатьuпроводитьuприноситьuумиратьuзапиратьu лежатьu сидетьuидтиu знатьu хотетьu стоятьuжитьu думатьuзабыватьuпомогатьuкончатьuвходитьuвыходитьuприходитьuуходитьu бежатьu бегатьu ехатьu ездитьu летатьu плытьu нестиu вестиu возитьuодеватьuраздеватьu гулятьuрисоватьuучитьсяu любитьuнравитьсяuбоятьсяuсмеятьсяuплакатьuцеловатьuобниматьuбитьuдратьсяuбросатьu ловитьuназыватьuсчитатьuизменятьuпоказыватьuдоказыватьuсоздаватьu ломатьu варитьu жаритьuпечьuрождатьсяu растиuстаретьu зватьuприглашатьuпоявлятьсяuисчезатьu падатьuподниматьuопускатьuповорачиватьuостанавливатьuпродолжатьuвозвращатьuвозвращатьсяuвзглядыватьuулыбатьсяuкричатьuшептатьuсдаватьженитьсяиспользоватьuорганизовыватьатаковатьисследоватьобещать велетьu ранитьнаследоватьказнитькреститьминоватьuанализироватьuразрабатыватьuвнедрятьuпубликоватьuописыватьuобобщать"систематизировать классифицировать интерпретироватьuподтверждатьuопровергатьuобосновыватьuустанавливатьuвыявлятьuопределятьuоцениватьuрассчитыватьuпрогнозироватьмодернизироватьоптимизировать автоматизировать"стандартизироватьапробировать$экспериментироватьuтестироватьuосвещатьuкомментироватьuинформироватьuсообщатьuзаявлятьuотмечатьuподчеркиватьакцентироватьuкритиковатьuобвинятьuоправдыватьuпризыватьuтребоватьuпредлагатьuрекомендоватьuреагироватьuконстатироватьuцитироватьuрезюмироватьuинвестироватьuфинансироватьбюджетироватьuпроизводитьuреализовыватьuзакупатьимпортироватьэкспортироватьконкурироватькооперироватьuинтегрировать"диверсифицироватьстратегироватьuпланироватьuуправлятьuконтролироватьuмониторитьuаудироватьпреподаватьuобучатьuзащищатьдиссертироватьuэкзаменоватьuаттестовыватьuаккредитовыватьлицензироватьсертифицировать(законодательствоватьuрегулироватьuнормироватьuлегализовыватьратифицироватьсанкционироватьuзапрещатьuразрешатьuузакониватьuпрограммировать"алгоритмизироватьuмоделироватьсимулироватьвизуализироватьuформализовыватьuкодироватьuдешифровыватьuархивироватьuбэкапитьинициироватьuисполнятьuзавершатьuдокументироватьпрезентоватьuотчитыватьсяuподделыватьuподключать)uсделатьuнаписатьuпрочитатьuсказатьuувидетьuуслышатьuпостроитьuвыучитьuпоработатьuприготовитьuоткрытьuзакрытьu начатьuзакончитьu купитьuпродатьuдатьuполучитьuобъяснитьu понятьu решитьuспроситьuвстретитьuвспомнитьuподождатьu найтиuпотерятьuизучитьuпоменятьuпосмотретьuпослушатьuсыгратьu спетьuстанцеватьu попутешествоватьuотдохнутьuпоспатьu съестьu выпитьu взятьuположитьuпоставитьuповеситьuпорезатьu помытьuпочиститьuзаплатитьuответитьuпровестиuпринестиuумеретьuзаперетьuлечьu сестьu пойтиu узнатьuзахотетьu встатьuпрожитьuподуматьuзапомнитьu забытьu помочьuкончитьu войтиu выйтиu прийтиuуйтиuпобежатьuпобегатьuпоехатьuпоездитьuполетатьuпоплытьuпонестиuповестиuпривестиuповозитьu одетьuраздетьu поестьuпогулятьuнарисоватьuнаучитьсяuполюбитьuпонравитьсяuиспугатьсяuзасмеятьсяuзаплакатьuпоцеловатьu обнятьu побитьuподратьсяuброситьuпойматьuназватьuпосчитатьuизменитьuпоказатьuдоказатьuсоздатьuсломатьuразрезатьuсваритьuпожаритьu испечьuродитьсяuвырастиuпостаретьuпозватьuпригласитьuпоявитьсяuисчезнутьu упастьuподнятьuопуститьuповернутьuостановитьuпродолжитьuвернутьuвернутьсяuвзглянутьuулыбнутьсяuзакричатьuшепнутьu сдатьr:r;организоватьr<r=r>r?uпоранитьr@rArBrCu проанализироватьuразработатьuвнедритьuопубликоватьuописатьuобобщитьrDrErFuподтвердитьuопровергнутьuобосноватьuустановитьuвыявитьuопределитьuоценитьuрассчитатьuспрогнозироватьrGrHrIrJrKrLuпротестироватьuосветитьu"прокомментироватьu проинформироватьuсообщитьuзаявитьuотметитьuподчеркнутьrMuпокритиковатьuобвинитьuоправдатьuпризватьuпотребоватьuпредложитьuпорекомендоватьuотреагироватьu законстатироватьuпроцитироватьuпрорезюмироватьu проинвестироватьu профинансироватьrNuпроизвестиuреализоватьuзакупитьrOrPrQrRu проинтегрироватьrSrTuзапланироватьuуправить"проконтролироватьuпромониторитьuпроаудироватьrUuобучитьuзащититьrVuпроэкзаменоватьuпроаттестоватьuаккредитоватьrWrXrYuзарегулироватьuпронормироватьuлегализоватьrZr[uзапретитьuразрешитьuузаконитьu"запрограммироватьr\uсмоделироватьr]r^uформализоватьuзакодироватьuдешифроватьuзаархивироватьuзабэкапитьr_uисполнитьuзавершитьrbu"задокументироватьr`uотчитатьсяuподделатьuподключитьcSsi|]\}}||qSrc).0kvrcrc./cmf/util/cmfnlp.py sz7RussianVerbAspectConverter.__init__..ruвзrrruпереrrruпреr ruрасuвозr uпредrrrr r ять иватьu евать ыватьать)итьrmuетьrlнутьrnuотьrmrmuтьrn)rkrjuватьrlrirau ранеть)perfective_to_imperfectiveitemsimperfective_to_perfectiveperfective_prefixes suffix_pairssuffix_replacementsbiaspect_verbs)selfrcrcrg__init__-s@S  z#RussianVerbAspectConverter.__init__)verbreturncCs|}|}d}|dr0d}|dd}n|drJd}|dd}||jkr\||S||jkrp|j|S||jkr|j||S||jkr||S||jkr|S|||S)u^ Преобразует глагол к несовершенному виду сяNсь)lowerstripendswithrurorq_auto_convert_to_imperfectivervrxZ orig_verb reflexivercrcrgto_imperfectives(          z*RussianVerbAspectConverter.to_imperfectivecCsd}|dr d}|dd}n|dr:d}|dd}|}|jD]B}||rDt|t|krD|t|d}t|dkrD|}qqD||kr|jD]P\}}||r|dkr|dt| }||}n|dt| |}qq||7}|S)j Автоматическое преобразование с помощью правил rzr{Nr|r}rn)rrr startswithlenrsrp)rvrxrresultprefixstemZperfect_suffixZimperfect_suffixrcrcrgrs0       z8RussianVerbAspectConverter._auto_convert_to_imperfectiverxcCsd|}||}|dkr.||}|}n |dkrF||}|}n|}|}||||||jkdS)u_ Получить полную информацию о виде глагола perfective imperfective)rxaspectrrZ is_biaspect)r~rdetermine_aspectr to_perfectiveru)rvrxrrrrcrcrgget_aspect_infos     z*RussianVerbAspectConverter.get_aspect_infocCsl||jkrdS||jkrdS||jkr*dS|jD](}||r0t|t|dkr0dSq0|drhdSdS)u< Определяет вид глагола Zbiaspectrr)rkrjunknown)rurorqrrrrr)rvrxrrcrcrgrs     z+RussianVerbAspectConverter.determine_aspectcCs|}|}d}|dr0d}|dd}n|drJd}|dd}||jkr^|j|S||jkrv|j||S||jkr||S||jkr|S|||S)uu Преобразует глагол несовершенного вида в совершенный rzr{Nr|r})r~rrrqro_auto_convert_to_perfectiverrcrcrgr*s$         z(RussianVerbAspectConverter.to_perfectivecCsd}|ds|dr(d}|dd}|jD](}||s.||}||jkr.|}qq.|}|jD],\}}||rf|dt| |}qqf|r|d7}|S)rFr{r}TNr|)rrrrrortrpr)rvrxrr candidatersuffixZ replacementrcrcrgrLs$     z6RussianVerbAspectConverter._auto_convert_to_perfectivecCsR|}||jkr$||j|fS||jkr<|j||fS||}||fSdS)uz Возвращает пару (несовершенный, совершенный) для глагола N)r~rrqror)rvrxrrcrcrgget_aspect_pairns    z*RussianVerbAspectConverter.get_aspect_paircCs|dtjkrd}gS|}t}||||||||h}t}|D]B}tj |stj |}t |dkr||dq\||q\||h}|S)Nren) string ascii_lettersr~rsetaddrrcmfutil dictionary_ruchecksuggestr)rvrxlangresZ clear_reswsugsrcrcrgget_all_aspects~s"       z*RussianVerbAspectConverter.get_all_aspectsN) __name__ __module__ __qualname__rwstrrrrrrrrrrcrcrcrgr9'sy&*""r9rcCs t|S)N) verb_apectrrrcrcrgget_all_verb_aspectssrcCst}|D]}||td|r&q t|r2q |tkr}|jdd}||d|jkr*t|D]}||qXq*q |S)NrrrZINFN)rrmorphparse normal_formrtagr)rrr4ZnwZnewtZasprcrcrgtokens_enrich_morphs    rcCsV|}|dd}d}td|D]}|s0q$tdd|}|d}|tkrRq$t|sbt|r| drx|d d}|d |7}q$|g}|td |7}t |}t |}t |}|D]}|tkrq|d |7}t jjjd d |i}t|dddddd dd }||kr|tkr|d |7}qq$d t |d S)Nrrrzu[^А-Яа-яA-Za-z0-9_.:@-]z[:_]rz .,@-zwww.rz[_.:@-]z!select to_tsquery('russian', :q);qr'|&)r~rrsplitsubrALL_STOP_WORDStoken_is_domaintoken_is_emailrrrrZmodelsZ CmfSynonymZdpZ data_driverZSessionZexecutelistjoin)textZnew_texttokenrr4ZtsqueryZ pg_stem_tokenrcrcrgtext_normalize_enrichs:    ,rz.comz.orgz.netz.ruz.govz.eduz.ioz.coz.infoz.bizz.mez.tvz.usz.caz.ukz.dez.frz.jpz.cnz.inz.auz.mxz.itz.esz.brz.nlz.sez.plz.chz.atz.bez.fiz.noz.dkz.krz.sgz.hkz.uaz.czz.roz.grz.zaz.clz.arz.saz.egz.aeu.рфu.русz.suz.aicCs,ddddtDd}tt||S)Nu^[a-zA-ZА-Яа-я0-9.-]+\.(?:rcSsg|]}|ddqS)Nrc)rddomainrcrcrg Psz#token_is_domain..z)$)rpopular_domainsboolrmatch)rZdomain_patternrcrcrgrOsrcCsd}tt||S)Nz0^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$)rrr)rZ email_patternrcrcrgrSsrcCs$tt|djdddS)Nr,r)rrrrrrrrcrcrg partspeechWsrcCst|djS)Nr)rrrrrcrcrgrwsr)Z cmf.includerZ pymorphy3Z MorphAnalyzerrZRUSSIAN_STOP_WORDSZENGLISH_STOP_WORDSZPROMPT_STOP_WORDS_NORMZTECH_STOP_WORDSrrrr9rrrrrrrrrrrrcrcrcrgsl35(C   8