U ^hZ@sPddlmZddlmZddlTddlZddlmZGdddejj j j Z dS))cached_property)Path)*N)JiraApics eZdZejjjjjdZdZ ejjjjj ddgZ e ddZddZ d d Z d d Zd dZeddZedddZddZddZddZeddZfddZfddZd4d!d"Zd5d#d$Zd6d&d'Zd(d)Zd*d+Zd,d-Zd.d/Z d0d1Z!d2d3Z"Z#S)7 CmfPluginJira)jiraNtestget_all_projectsc Csb|js\|dddddddgt|jjj|jjj|jj|jj |jj j|jj jd|_|jS) Npluginplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrr ext_urlvalueZ ext_loginZ ext_tokenZdecryptZ ext_passwordrr)selfr(./modules/jira/models/cmf_plugin_jira.pyrs  zCmfPluginJira.jirac CsDddlm}ddlm}|j}|||W5QRSQRXdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importrmodules.jira.csv_importrrtmplt_import_settingsr cmf_importrrrrrrrs  z#CmfPluginJira.tmplt_import_settingsc CsVddlm}ddlm}|jdkrJ|j}|||W5QRSQRX||S)NrrrZapi)rrrrtyperpreviewr rrrr#!s     zCmfPluginJira.previewc CsJddlm}ddlm}d|_|j}|||W5QRSQRXdS)Nrrru#Импорт данных из Jira)rrrrnamerprocess_importr rrrr%)s   zCmfPluginJira.process_importcCsLddlm}||j|}t||r4t||}|n|jd|ddS)Nrru Метод 'u' не существует)rrrhasattrgetattrloggererror)rr!Zprocess_methodrZ jira_importmethodrrrprocess_entity0s     zCmfPluginJira.process_entitycCsg}|S)uRСобственный магазин при выборе импорта из Jirar)resrrrcalc_models_settings:s z"CmfPluginJira.calc_models_settings) cmf_import_idc Osddlm}g}z`g}|jL}|D]<}|d|d|dd}|drX|d|d<||q&W5QRXWn`tk r} zBt| t j j|dd gd } d d ||j|  D}|sW5d} ~ XYnX|S) Nrridkeyr$)r/r0r$Z isPrivaterzplugin.plugin.*r/fieldscSsg|]}|qSrr.0objrrr _sz2CmfPluginJira.get_all_projects..) rrr get_projectsgetappend Exceptiongdebugmodels CmfImportZ _get_projects) rr.argskwargsrr,rprojectZ project_dataer!rrrr Js(     zCmfPluginJira.get_all_projectsc Os4|j$}tdd|DW5QRSQRXdS)uE Проверяем подключение к апи cSsg|]}|qSrrr3rrrr6isz&CmfPluginJira.test..N)rboolr7)rr?r@rrrrrdszCmfPluginJira.testc Cs8ddlm}|j}|||W5QRSQRXdSNrr)rrr download_datarr!rrrrrrEks zCmfPluginJira.download_datac Cs8ddlm}|j}|||W5QRSQRXdSrD)rrrdownload_filesrFrrrrGps zCmfPluginJira.download_filesc Cs6ddlm}ddlm}ddl}d}tttj j |ddgd}||j j |} |j j j d|} tjj dd d | d gd d gd} | std| | j| _g} | j} | j}|jd| j|j}t| jD]L}| jj| jd|| || dd}| ||| jjd|qd}| j|||tj dD]*}| j!rjq|d7}| "|qT| D]}| "dq| jjd| D]}|#q|j|}| jjd||$dd}|%s|| 7}q| jjd|||7}W5QRXW5QRX|S)Nrr) cmf_contextrzplugin.plugin.source_hashr1::ext_idZLIKEz%::z::%cust_field_conf_schemeimport_raw_jsonfilterr2u)Не найден проект с ext_id u@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsrA)targetr$r@u.Параллельный обработчик )Zonly_processingZDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок )&rrZcmf.apprHdatetimecmfutilZ disable_aclZdisable_notifyr=r>r8r r source_hashZ CmfProjectZCmfErrorrKZqueueZQueuer(infoZthreading_max_forksZnowrange threadingThreadrOr9startr!Zget_project_tasksZconfigZIMPORT_ONLY_NEW_OR_UPDATEDZ is_cancelZputjoinZ total_secondsempty)r.Z project_idr[limitrrHrTerrorsr!Z api_importZproject_ext_idrAZ issue_processrPrQsiprocZcntZissueZdiffZ has_errorsrrrprocess_issue_forkust          z CmfPluginJira.process_issue_forkcsF|ddg|jr:|jdkr:tj|jjjd|jdSt |S)NrLr CmfTaskZbrowser0) rrL class_nameospathr\r rrsuper calc_ext_hrefrr5 __class__rrriszCmfPluginJira.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)NrLrdZ issue_path)rrerLrhcalc_dump_pathrjrkrrrms  zCmfPluginJira.calc_dump_pathr$c Csddl}dtd}dtd}d}t}t|jjd} | |} | rt| d<} | D]0} t | } | t | d| |f|d7}q^W5QRXnX| r| D]B}| sq|d}|sqt|d2} t | } | t | d| |f|d7}W5QRX|d kr|d d }|r||L}|D]<}|d r\qH|d  | ||f|dd7<qHW5QRX|d}t|dJ} | D]>} t | }|d  | |t |df|dd7<qW5QRXq||d}|d kr||d <||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rNcountobjs project_dirzr+r/rSz info.jsontasks attachmentszall_attachments.zip/rproz comments.jsoncomments)zipfilesetrrLrr8joinpathis_fileopenZjsonloadsaddstris_diriterdirexistsloadZipFileZnamelistendswith)rrAentityfieldrvZattachment_statsZ comment_statsZ dumped_countZ dumped_objsrqZ objs_pathfrowZobj_dataZobj_dirZ obj_data_fileZ attach_fileZzip_fileZ attach_nameZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitysd                 z'CmfPluginJira._get_dump_stats_by_entitycCsdd|gdddgg}|r"||t|}|j|d}t}|j|ddd d d gd } | D]} | jrz| jd ddnd} |rt | |dnd} | j rt | j d} | j |} |dkr| | jj| jfqZ|dkr| | jj| fqZ| r| | | fqZ| | qZ||d} | S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ rA=r!z!=N)rNz--rJr$z parent.coderLrMrIrSzversion:r/ CmfAttachment CmfCommentrn)r9rUZget_model_by_namerorwZslistrJsplitlstripr'rLr}r8r|parentcoder$)rrAr filter_byrZfilter_ZmodelZprocessed_countZprocessed_objsrpr5Zobj_idZ obj_fieldrrrr_get_process_stats_by_entitys:       z*CmfPluginJira._get_process_stats_by_entityFc s|r^dd|Ddd|D}tt|}t|}fdd|D}n||}||}|sxdndt|d}|S) u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. cSsi|]}|d|dqSrrSrr4rarrr Psz4CmfPluginJira._check_consistency..cSsi|]}|d|dqSrrrrrrrQscsh|]}||fqSrr)r4Zid_Z dump_dictrr Tsz3CmfPluginJira._check_consistency..uОКuНЕКОРРЕКТНО)status unprocessed)rwkeys intersectionlist) rZ dump_objsZ process_objs check_by_idZ process_dictrZdiff_idsrresultrrr_check_consistencyEs   z CmfPluginJira._check_consistencycCs^||d}|j|ddddgdd}d|d |d d }|j|d |d d d }|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики ZsprintsCmfListlogic_type.coderzlist.agile_sprint:defaultr$rruСпринтыrorZdumpedZ processedrpT)rrrrupdaterrA dump_stats process_stats stats_datarrrr_get_project_sprint_stats^s$  z'CmfPluginJira._get_project_sprint_statscCsZ||d}|j|ddddgdd}d|d |d d }||d |d }|||S) u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики z versions.jsonrrrzlist.release:defaultr$ru Релизыrorrprrrrr_get_project_version_stats|s  z(CmfPluginJira._get_project_version_statscCsR||d}|j|ddd}d|d|dd}||d|d}|||S) u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики zcomponents.jsonZ CmfComponentr$ruКомпонентыrorrprrrrr_get_project_component_statss  z*CmfPluginJira._get_project_component_statscCsR||d}|j|ddd}d|d|dd}||d|d}|||S) u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики ZboardsZCmfKanbanBoardr$ru Доскиrorrprrrrr_get_project_board_statss  z&CmfPluginJira._get_project_board_statsc Cs|j|ddd}|j|ddd}d|d|dd}||d|d}|||j|d d d}d |d d|dd}||d d|d}|||j|d dddgd} d|dd| dd} ||dd| d} | | ||| gS)u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики rrr0rrdu Задачиrorrprr$uВложенияrsrZ log_levelrr)ruКомментарииrur) rrArrtask_stats_dataZ task_resultZattach_process_statsZattachment_stats_dataZattachment_resultZcomment_process_statsZcomment_stats_dataZcomment_resultrrr_get_project_task_statssX        z%CmfPluginJira._get_project_task_statsc Csvg}||}||||}||||}||||}||||}|D]}||qb|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rr9rrrr) rrArZsprint_stats_dataZversion_stats_dataZcomponent_stats_dataZboard_stats_datarrrrr project_statss          zCmfPluginJira.project_stats)r$)NN)F)$__name__ __module__ __qualname__modulesrr2cmf_plugin_jirarZ ui_meta_skiprZ api_methodspropertyrr#r%r+ staticmethodr-r}r rrErGrcrirmrrrrrrrrr __classcell__rrrkrrs>     B   O 2 s