U iEu@sPddlmZddlmZddlTddlZddlmZGdddejj j j Z dS))cached_property)Path)*N)JiraApics eZdZejjjjjdZdZ ejjjjj ddgZ e ddZddZ d d Z d d Zd dZeddZedddZddZddZddZeddZfddZfddZd4d!d"Zd5d#d$Zd6d&d'Zd(d)Zd*d+Zd,d-Zd.d/Z d0d1Z!d2d3Z"Z#S)7 CmfPluginJira)jiraNtestget_all_projectsc Csb|js\|dddddddgt|jjj|jjj|jj|jj |jj j|jj jd|_|jS) Npluginplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrr ext_urlvalueZ ext_loginZ ext_tokenZdecryptZ ext_passwordrr)selfr(./modules/jira/models/cmf_plugin_jira.pyrs  zCmfPluginJira.jirac CsDddlm}ddlm}|j}|||W5QRSQRXdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importrmodules.jira.csv_importrrtmplt_import_settingsr cmf_importrrrrrrrs  z#CmfPluginJira.tmplt_import_settingsc CsVddlm}ddlm}|jdkrJ|j}|||W5QRSQRX||S)NrrrZapi)rrrrtyperpreviewr rrrr#!s     zCmfPluginJira.previewc CsJddlm}ddlm}d|_|j}|||W5QRSQRXdS)Nrrru#Импорт данных из Jira)rrrrnamerprocess_importr rrrr%)s   zCmfPluginJira.process_importcCsLddlm}||j|}t||r4t||}|n|jd|ddS)Nrru Метод 'u' не существует)rrrhasattrgetattrloggererror)rr!Zprocess_methodrZ jira_importmethodrrrprocess_entity0s     zCmfPluginJira.process_entitycCsg}|S)uRСобственный магазин при выборе импорта из Jirar)resrrrcalc_models_settings:s z"CmfPluginJira.calc_models_settings) cmf_import_idc Osddlm}g}z`g}|jL}|D]<}|d|d|dd}|drX|d|d<||q&W5QRXWn`tk r} zBt| t j j|dd gd } d d ||j|  D}|sW5d} ~ XYnX|S) Nrridkeyr$)r/r0r$Z isPrivaterzplugin.plugin.*r/fieldscSsg|]}|qSrr.0objrrr _sz2CmfPluginJira.get_all_projects..) rrr get_projectsgetappend Exceptiongdebugmodels CmfImportZ _get_projects) rr.argskwargsrr,rprojectZ project_dataer!rrrr Js(     zCmfPluginJira.get_all_projectsc Os4|j$}tdd|DW5QRSQRXdS)uE Проверяем подключение к апи cSsg|]}|qSrrr3rrrr6isz&CmfPluginJira.test..N)rboolr7)rr?r@rrrrrdszCmfPluginJira.testc Cs8ddlm}|j}|||W5QRSQRXdSNrr)rrr download_datarr!rrrrrrEks zCmfPluginJira.download_datac Cs8ddlm}|j}|||W5QRSQRXdSrD)rrrdownload_filesrFrrrrGps zCmfPluginJira.download_filesc Csnddlm}ddlm}ddl}d}t6t tj j |ddgd}||j j |} |j j j d|} tjj dd d | d gd d gd} | std| | j| _| | jdd| jtjjdD| _g} | j} | j}t| j|}|jd||j}t|D]N}| jj| j d|| || dd}| !||"| j#jd|q d}| j$|||t%j&dD].}| j#'rq|d7}| (|dq| D]}| (dq| j#jd| D]}|)q|j|}| j#jd||*dd}|+s:|| 7}q | j#jd|||7}W5QRXW5QRX|S) Nrr) cmf_contextrzplugin.plugin.source_hashr1::ext_idLIKEz%::z::%cust_field_conf_schemeimport_raw_json)filterr2u)Не найден проект с ext_id cSsi|]}|d|qS)titler)r4fieldrrr sz4CmfPluginJira.process_issue_fork..r2u@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsrA)targetr$r@u.Параллельный обработчик )Zonly_processing issue_pathZDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок ),rrZcmf.apprHdatetimecmfutilZ disable_aclZdisable_notifyr=r>r8r r source_hashZ CmfProjectZCmfErrorrLZ_cache_prioritiesZsettingsCmfTaskZ verbose_nameZjira_map_fieldsZqueueZQueueminZthreading_max_forksr(infoZnowrange threadingThreadrRr9startr!Zget_project_tasksZconfigZIMPORT_ONLY_NEW_OR_UPDATEDZ is_cancelZputjoinZ total_secondsempty)r.Z project_idralimitrrHrXerrorsr!Z api_importZproject_ext_idrAZ issue_processrSrTZ thread_countsiprocZcntZissueZdiffZ has_errorsrrrprocess_issue_forkus~             z CmfPluginJira.process_issue_forkcsF|ddg|jr:|jdkr:tj|jjjd|jdSt |S)NrMr r[Zbrowser0) rrM class_nameospathrbr rrsuper calc_ext_hrefrr5 __class__rrrnszCmfPluginJira.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)NrMr[rW)rrjrMrmcalc_dump_pathrorprrrrs  zCmfPluginJira.calc_dump_pathr$c Csvddl}dtgd}dtd}d}t}t|jjd} | |} | rt| d<} | D]0} t | } | t | d| |f|d7}q`W5QRXn| rN| D]}| sq|d }|sqt|d2} t | } | t | d| |f|d7}W5QRX|d kr| d d }d d|D}|d}|r|D]n}|shqV|jrV|j|jkrV|j|krV|d | ||jf|dd7<||jqV|r|d| |d|f|d}t|dJ} | D]>} t | }|d | |t |df|dd7<qW5QRXq||d}|d krr||d<||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rN)countobjs undownloadedrsrt project_dirzr+r/rVz info.jsontasksr2 attachmentcSsh|]}t|dqS)r/)str)r4ryrrr sz:CmfPluginJira._get_dump_stats_by_entity.. attachmentsrtrsruz, z comments.jsoncomments)zipfilesetrrMrr8joinpathis_fileopenZjsonloadsaddrzis_diriterdirexistsloadstemisdigitr$remover9rb)rrAentityrPr~Zattachment_statsZ comment_statsZ dumped_countZ dumped_objsrwZ objs_pathfrowZobj_dataZobj_dirZ obj_data_filer|Zattachment_idsZattachments_diritemZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys                  z'CmfPluginJira._get_dump_stats_by_entitycCsDdd|gdddgg}|r"||t|}|j|dd}t}d} td || D]} |j|d d d d dgd| | | gd} | D]} | jr| jdd dnd} |rt | |dnd}| j rt | j d} | j |}|dkr| r|| jj| fq||dkr|| jj| fq||r(|| |fq||| q|qP||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rA=r!!=NT)rNinclude_archiveddrz--rJr$z parent.coderM)rNr2rslicerIrVzversion:r/ CmfAttachment CmfCommentrv)r9rYZget_model_by_namersrr^ZslistrJsplitlstripr'rMrzr8rparentcode)rrAr filter_byrPZfilter_ZmodelZprocessed_countZprocessed_objssteprartr5Zobj_idZ obj_fieldrrrr_get_process_stats_by_entity+sB        z*CmfPluginJira._get_process_stats_by_entityFc s|r^dd|Ddd|D}tt|}t|}fdd|D}n||}||}|sx|r|dndt|d} | S) u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. cSsi|]}|d|dqSrrVrr4rgrrrrQtsz4CmfPluginJira._check_consistency..cSsi|]}|d|dqSrrrrrrrQuscsh|]}||fqSrr)r4Zid_Z dump_dictrrr{xsz3CmfPluginJira._check_consistency..uНЕКОРРЕКТНОZOK)status unprocessed)rkeys intersectionlist) rZ dump_objsZ process_objshas_undownloaded check_by_idZ process_dictrZdiff_idsrresultrrr_check_consistencybs z CmfPluginJira._check_consistencycCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd|j|d|ddd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахZsprintsu%Сдамплено спринтов: rsuLСбор информации об обработанных спринтахCmfListlogic_type.coderzlist.agile_sprint:defaultr$rrPu'Обработано спринтов: uСпринтыrdumped processeduПроверка консистентности между сдампленными и обработанными спринтамиrtT)ruСпринты: rr(r<rrrupdaterrA dump_stats process_stats stats_datarrrr_get_project_sprint_statss4    z'CmfPluginJira._get_project_sprint_statscCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): rsuZСбор информации об обработанных релизах(версиях)rrrzlist.release:defaultr$ru3Обработано релизов(версий): u РелизыruПроверка консистентности между сдампленными и обработанными релизами(версиями)rtuРелизы(версии): rrrrrr_get_project_version_statss,    z(CmfPluginJira._get_project_version_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: rsuRСбор информации об обработанных компонентахZ CmfComponentr$rPu-Обработано компонентов: uКомпонентыruПроверка консистентности между сдампленными и обработанными компонентамиrtuКомпоненты: rrrrrr_get_project_component_statss*    z*CmfPluginJira._get_project_component_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахZboardsuСдамплено досок: rsuHСбор информации об обработанных доскахZCmfKanbanBoardr$ru!Обработано досок: u ДоскиruПроверка консистентности между сдампленными и обработанными доскамиrtu Доски: rrrrrr_get_project_board_statss*    z&CmfPluginJira._get_project_board_statsc CsJ|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}dddg}|jd|j|ddddg|gd}|jd|dd|dd|dd|dd}|jd|j|ddd d!g|gd}|jd"|dd#|d d|dd} |jd$||d%|d%} |jd&| d'|| |jd(|j|dd%|d%t|ddd)} |jd*| d'|| |jd+||d d%|d%} |jd,| d'| | ||| gS)-u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrxr0ruСдамплено задач: rsu%Сдамплено вложений: r|u-Сдамплено комментариев: r}uJСбор информации об обработанных задачахr[u!Обработано задач: u ЗадачиrZ parent_idrKz CmfTask:%uNСбор информации об обработанных вложенияхrrMrN)ru'Обработано вложений: uВложенияru)rrruruTСбор информации об обработанных комментарияхrZ log_levelrru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиrtuЗадачи: ruПроверка консистентности между сдампленными и обработанными вложениями)ruВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )r(r<rrrrrC) rrArrtask_stats_dataZ parent_filterZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ task_resultZattachment_resultZcomment_resultrrr_get_project_task_statss             z%CmfPluginJira._get_project_task_statsc Csvg}||}||||}||||}||||}||||}|D]}||qb|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rr9rrrr) rrArZsprint_stats_dataZversion_stats_dataZcomponent_stats_dataZboard_stats_datarrrrr project_statsys          zCmfPluginJira.project_stats)r$)NN)FF)$__name__ __module__ __qualname__modulesrr2cmf_plugin_jirarZ ui_meta_skiprZ api_methodspropertyrr#r%r+ staticmethodr-rzr rrErGrirnrrrrrrrrrrr __classcell__rrrprrsB     L   ] ; )%$$ar) rpathlibrZ cmf.includeZ#modules.jira.fields.cmf_plugin_jirarZmodules.jira.apirrr2rrrrrrs