U Sh#o@sPddlmZddlmZddlTddlZddlmZGdddejj j j Z dS))cached_property)Path)*N)JiraApics eZdZejjjjjdZdZ ejjjjj ddgZ e ddZddZ d d Z d d Zd dZeddZedddZddZddZddZeddZfddZfddZd4d!d"Zd5d#d$Zd6d&d'Zd(d)Zd*d+Zd,d-Zd.d/Z d0d1Z!d2d3Z"Z#S)7 CmfPluginJira)jiraNtestget_all_projectsc Csb|js\|dddddddgt|jjj|jjj|jj|jj |jj j|jj jd|_|jS) Npluginplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrr ext_urlvalueZ ext_loginZ ext_tokenZdecryptZ ext_passwordrr)selfr(./modules/jira/models/cmf_plugin_jira.pyrs  zCmfPluginJira.jirac CsDddlm}ddlm}|j}|||W5QRSQRXdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importrmodules.jira.csv_importrrtmplt_import_settingsr cmf_importrrrrrrrs  z#CmfPluginJira.tmplt_import_settingsc CsVddlm}ddlm}|jdkrJ|j}|||W5QRSQRX||S)NrrrZapi)rrrrtyperpreviewr rrrr#!s     zCmfPluginJira.previewc CsJddlm}ddlm}d|_|j}|||W5QRSQRXdS)Nrrru#Импорт данных из Jira)rrrrnamerprocess_importr rrrr%)s   zCmfPluginJira.process_importcCsLddlm}||j|}t||r4t||}|n|jd|ddS)NrrzMethod 'z' does not exist)rrrhasattrgetattrloggererror)rr!Zprocess_methodrZ jira_importmethodrrrprocess_entity0s     zCmfPluginJira.process_entitycCsg}|S)uRСобственный магазин при выборе импорта из Jirar)resrrrcalc_models_settings:s z"CmfPluginJira.calc_models_settings) cmf_import_idc Osddlm}g}z`g}|jL}|D]<}|d|d|dd}|drX|d|d<||q&W5QRXWn`tk r} zBt| t j j|dd gd } d d ||j|  D}|sW5d} ~ XYnX|S) Nrridkeyr$)r/r0r$Z isPrivaterzplugin.plugin.*r/fieldscSsg|]}|qSrr.0objrrr _sz2CmfPluginJira.get_all_projects..) rrr get_projectsgetappend Exceptiongdebugmodels CmfImportZ _get_projects) rr.argskwargsrr,rprojectZ project_dataer!rrrr Js(     zCmfPluginJira.get_all_projectsc Os4|j$}tdd|DW5QRSQRXdS)uE Проверяем подключение к апи cSsg|]}|qSrrr3rrrr6isz&CmfPluginJira.test..N)rboolr7)rr?r@rrrrrdszCmfPluginJira.testc Cs8ddlm}|j}|||W5QRSQRXdSNrr)rrr download_datarr!rrrrrrEks zCmfPluginJira.download_datac Cs8ddlm}|j}|||W5QRSQRXdSrD)rrrdownload_filesrFrrrrGps zCmfPluginJira.download_filesc Csbddlm}ddlm}ddl}d}t*ttj j |ddgd}||j j |} |j j j d|} tjj dd d | d gd d gd} | std| | j| _| | jdd| jtjjdD| _g} | j} | j}|jd| j|j}t| jD]N}| jj| jd|| || dd}| ||!| j"jd|qd}| j#|||t$j%dD]*}| j"&rq|d7}| '|q| D]}| 'dq| j"jd| D]}|(q|j|}| j"jd||)dd}|*s.|| 7}q| j"jd|||7}W5QRXW5QRX|S)Nrr) cmf_contextrzplugin.plugin.source_hashr1::ext_idZLIKEz%::z::%cust_field_conf_schemeimport_raw_json)filterr2u)Не найден проект с ext_id cSsi|]}|d|qS)titler)r4fieldrrr sz4CmfPluginJira.process_issue_fork..r2u@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsrA)targetr$r@u.Параллельный обработчик )Zonly_processingZDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок )+rrZcmf.apprHdatetimecmfutilZ disable_aclZdisable_notifyr=r>r8r r source_hashZ CmfProjectZCmfErrorrKZ_cache_prioritiesZsettingsCmfTaskZ verbose_nameZjira_map_fieldsZqueueZQueuer(infoZthreading_max_forksZnowrange threadingThreadrQr9startr!Zget_project_tasksZconfigZIMPORT_ONLY_NEW_OR_UPDATEDZ is_cancelZputjoinZ total_secondsempty)r.Z project_idr^limitrrHrVerrorsr!Z api_importZproject_ext_idrAZ issue_processrRrSsiprocZcntZissueZdiffZ has_errorsrrrprocess_issue_forkus|           z CmfPluginJira.process_issue_forkcsF|ddg|jr:|jdkr:tj|jjjd|jdSt |S)NrLr rYZbrowser0) rrL class_nameospathr_r rrsuper calc_ext_hrefrr5 __class__rrrkszCmfPluginJira.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)NrLrYZ issue_path)rrgrLrjcalc_dump_pathrlrmrrros  zCmfPluginJira.calc_dump_pathr$c Csddl}dtd}dtd}d}t}t|jjd} | |} | rt| d<} | D]0} t | } | t | d| |f|d7}q^W5QRXnX| r| D]B}| sq|d}|sqt|d2} t | } | t | d| |f|d7}W5QRX|d kr|d d }|r||L}|D]<}|d r\qH|d  | ||f|dd7<qHW5QRX|d}t|dJ} | D]>} t | }|d  | |t |df|dd7<qW5QRXq||d}|d kr||d <||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rNcountobjs project_dirzr+r/rUz info.jsontasks attachmentszall_attachments.zip/rrrqz comments.jsoncomments)zipfilesetrrLrr8joinpathis_fileopenZjsonloadsaddstris_diriterdirexistsloadZipFileZnamelistendswith)rrAentityrOrxZattachment_statsZ comment_statsZ dumped_countZ dumped_objsrsZ objs_pathfrowZobj_dataZobj_dirZ obj_data_fileZ attach_fileZzip_fileZ attach_nameZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitysd                 z'CmfPluginJira._get_dump_stats_by_entitycCsBdd|gdddgg}|r"||t|}|j|dd}t}d} td || D]} |j|d d d d dg| | | gdd} | D]} | jr| jdd dnd} |rt | |dnd}| j rt | j d} | j |}|dkr|| jj| jfq||dkr|| jj| fq||r&|| |fq||| q|qP||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rA=r!z!=NT)rMinclude_archiveddrz--rJr$z parent.coderL)rMr2slicerrIrUzversion:r/ CmfAttachment CmfCommentrp)r9rWZget_model_by_namerqryr[ZslistrJsplitlstripr'rLrr8r~parentcoder$)rrAr filter_byrOZfilter_ZmodelZprocessed_countZprocessed_objsstepr^rrr5Zobj_idZ obj_fieldrrrr_get_process_stats_by_entitysB       z*CmfPluginJira._get_process_stats_by_entityFc s|r^dd|Ddd|D}tt|}t|}fdd|D}n||}||}|sxdndt|d}|S) u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. cSsi|]}|d|dqSrrUrr4rdrrrrP\sz4CmfPluginJira._check_consistency..cSsi|]}|d|dqSrrrrrrrP]scsh|]}||fqSrr)r4Zid_Z dump_dictrr `sz3CmfPluginJira._check_consistency..uОКuНЕКОРРЕКТНО)status unprocessed)rykeys intersectionlist) rZ dump_objsZ process_objs check_by_idZ process_dictrZdiff_idsrresultrrr_check_consistencyQs   z CmfPluginJira._check_consistencycCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd|j|d|ddd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахZsprintsu%Сдамплено спринтов: rquLСбор информации об обработанных спринтахCmfListlogic_type.coderzlist.agile_sprint:defaultr$rrOu'Обработано спринтов: uСпринтыrZdumpedZ processeduПроверка консистентности между сдампленными и обработанными спринтамиrrT)ruСпринты: rr(r<rrrupdaterrA dump_stats process_stats stats_datarrrr_get_project_sprint_statsjs4    z'CmfPluginJira._get_project_sprint_statscCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): rquZСбор информации об обработанных релизах(версиях)rrrzlist.release:defaultr$ru3Обработано релизов(версий): u РелизыruПроверка консистентности между сдампленными и обработанными релизами(версиями)rruРелизы(версии): rrrrrr_get_project_version_statss,    z(CmfPluginJira._get_project_version_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: rquRСбор информации об обработанных компонентахZ CmfComponentr$rOu-Обработано компонентов: uКомпонентыruПроверка консистентности между сдампленными и обработанными компонентамиrruКомпоненты: rrrrrr_get_project_component_statss*    z*CmfPluginJira._get_project_component_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахZboardsuСдамплено досок: rquHСбор информации об обработанных доскахZCmfKanbanBoardr$ru!Обработано досок: u ДоскиruПроверка консистентности между сдампленными и обработанными доскамиrru Доски: rrrrrr_get_project_board_statss*    z&CmfPluginJira._get_project_board_statsc Cs|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}|jd|j|ddd}|jd|dd|dd|dd}|jd|j|ddddgd}|jd|dd|d d|dd}|jd||d|d} |jd| d || |jd!||dd|d} |jd"| d || |jd#||d d|d} |jd$| d || |||gS)%u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrtr0ruСдамплено задач: rqu%Сдамплено вложений: ruu-Сдамплено комментариев: rwuJСбор информации об обработанных задачахrYu!Обработано задач: u ЗадачиruNСбор информации об обработанных вложенияхrr$u'Обработано вложений: uВложенияuTСбор информации об обработанных комментарияхrZ log_levelrr)ru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиrruЗадачи: ruПроверка консистентности между сдампленными и обработанными вложениямиuВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: r) rrArrtask_stats_dataZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ task_resultZattachment_resultZcomment_resultrrr_get_project_task_statss           z%CmfPluginJira._get_project_task_statsc Csvg}||}||||}||||}||||}||||}|D]}||qb|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rr9rrrr) rrArZsprint_stats_dataZversion_stats_dataZcomponent_stats_dataZboard_stats_datarrrrr project_statsVs          zCmfPluginJira.project_stats)r$)NN)F)$__name__ __module__ __qualname__modulesrr2cmf_plugin_jirarZ ui_meta_skiprZ api_methodspropertyrr#r%r+ staticmethodr-rr rrErGrfrkrorrrrrrrrr __classcell__rrrmrrs>     I   O 7 )%$$Vr) rpathlibrZ cmf.includeZ#modules.jira.fields.cmf_plugin_jirarZmodules.jira.apirrr2rrrrrrs