U ~iu@sTddlmZddlmZmZddlTddlZddlm Z Gdddej j j j Z dS))Path)urlparse urlunsplit)*N)JiraApics eZdZejjjjjdZdZ ejjjjj ddgZ e ddZddZ d d Z d d Zd dZeddZedddZddZddZddZeddZfddZfddZd4d!d"Zd5d#d$Zd6d&d'Zd(d)Zd*d+Zd,d-Zd.d/Z d0d1Z!d2d3Z"Z#S)7 CmfPluginJira)jiraNtestget_all_projectsc Csb|js\|dddddddgt|jjj|jjj|jj|jj |jj j|jj jd|_|jS) Npluginzplugin.ext_urlzplugin.ext_loginzplugin.ext_tokenzplugin.ext_passwordz plugin.cloudzplugin.verify_ssl)urlusernametokenpassword verify_sslcloud) _CmfPluginJira__jira load_fieldsrr Zext_urlvalueZ ext_loginZ ext_tokenZdecryptZ ext_passwordrr)selfr(./modules/jira/models/cmf_plugin_jira.pyrs  zCmfPluginJira.jirac CsDddlm}ddlm}|j}|||W5QRSQRXdS)Nr JiraAPIImport JiraCSVImport)modules.jira.api_importrmodules.jira.csv_importrrtmplt_import_settingsr cmf_importrrrrrrrs  z#CmfPluginJira.tmplt_import_settingsc CsVddlm}ddlm}|jdkrJ|j}|||W5QRSQRX||S)NrrrZapi)rrrrtyperpreviewrrrrr"#s     zCmfPluginJira.previewc CsJddlm}ddlm}d|_|j}|||W5QRSQRXdS)Nrrru#Импорт данных из Jira)rrrrnamerprocess_importrrrrr$+s   zCmfPluginJira.process_importcKsPddlm}||j|}t||r8t||}|f|n|jd|ddS)Nrru Метод 'u' не существует)rrrhasattrgetattrloggererror)rr Zprocess_methodkwargsrZ jira_importmethodrrrprocess_entity2s      zCmfPluginJira.process_entitycCsg}|S)uRСобственный магазин при выборе импорта из Jirar)resrrrcalc_models_settings<s z"CmfPluginJira.calc_models_settings) cmf_import_idc Osddlm}g}z`g}|jL}|D]<}|d|d|dd}|drX|d|d<||q&W5QRXWn`tk r} zBt| t j j|dd gd } d d ||j|  D}|sW5d} ~ XYnX|S) Nrridkeyr#)r/r0r#Z isPrivaterzplugin.plugin.*r/fieldscSsg|]}|qSrr.0objrrr asz2CmfPluginJira.get_all_projects..) rrr get_projectsgetappend Exceptiongdebugmodels CmfImportZ _get_projects) rr.argsr)rr,rprojectZ project_dataer rrrr Ls(     zCmfPluginJira.get_all_projectsc Os4|j$}tdd|DW5QRSQRXdS)uE Проверяем подключение к апи cSsg|]}|qSrrr3rrrr6ksz&CmfPluginJira.test..N)rboolr7)rr?r)rrrrr fszCmfPluginJira.testc Cs8ddlm}|j}|||W5QRSQRXdSNrr)rrr download_datarr rrrrrrDms zCmfPluginJira.download_datac Cs8ddlm}|j}|||W5QRSQRXdSrC)rrrdownload_filesrErrrrFrs zCmfPluginJira.download_filesc Csnddlm}ddlm}ddl}d}t6t tj j |ddgd}||j j |} |j j j d|} tjj dd d | d gd d gd} | std| | j| _| | jdd| jtjjdD| _g} | j} | j}t| j|}|jd||j}t|D]N}| jj| j d|| || dd}| !||"| j#jd|q d}| j$|||t%j&dD].}| j#'rq|d7}| (|dq| D]}| (dq| j#jd| D]}|)q|j|}| j#jd||*dd}|+s:|| 7}q | j#jd|||7}W5QRXW5QRX|S) Nrr) cmf_contextrzplugin.plugin.source_hashr1::ext_idLIKEz%::z::%cust_field_conf_schemeimport_raw_json)filterr2u)Не найден проект с ext_id cSsi|]}|d|qS)titler)r4fieldrrr sz4CmfPluginJira.process_issue_fork..r2u@Грузим задачи в несколько потоков: _process_issue_thread) issue_queueissue_queue_errorsr@)targetr#r)u.Параллельный обработчик )Zonly_processing issue_pathZDONEu&Ждем обработки задачu*------------------------ скорость u задач в секундуu?Закончили обработку задач, ошибок ),rrZcmf.apprGdatetimecmfutilZ disable_aclZdisable_notifyr=r>r8r r source_hashZ CmfProjectZCmfErrorrKZ_cache_prioritiesZsettingsCmfTaskZ verbose_nameZjira_map_fieldsZqueueZQueueminZthreading_max_forksr'infoZnowrange threadingThreadrQr9startr Zget_project_tasksZconfigZIMPORT_ONLY_NEW_OR_UPDATEDZ is_cancelZputjoinZ total_secondsempty)r.Z project_idr`limitrrGrWerrorsr Z api_importZproject_ext_idr@Z issue_processrRrSZ thread_countsiprocZcntZissueZdiffZ has_errorsrrrprocess_issue_forkws~             z CmfPluginJira.process_issue_forkcs\|dg|jrP|jdkrPt|jd}|jd}t|j|jd|ddfSt|S)NrLrZrr0zbrowse/) rrL class_namerrschemenetlocsuper calc_ext_href)rr5Zself_urlr0 __class__rrrns   zCmfPluginJira.calc_ext_hrefcs2|dg|jdkr&|jr&|jdSt|S)NrLrZrV)rrjrLrmcalc_dump_path)rr5rorrrqs  zCmfPluginJira.calc_dump_pathr#c Csvddl}dtgd}dtd}d}t}t|jjd} | |} | rt| d<} | D]0} t | } | t | d| |f|d7}q`W5QRXn| rN| D]}| sq|d }|sqt|d2} t | } | t | d| |f|d7}W5QRX|d kr| d d }d d|D}|d}|r|D]n}|shqV|jrV|j|jkrV|j|krV|d | ||jf|dd7<||jqV|r|d| |d|f|d}t|dJ} | D]>} t | }|d | |t |df|dd7<qW5QRXq||d}|d krr||d<||d<|S)u Возвращает информацию о дампе сущности, общее количество объектов и множество объектов с кортежами вида (id, name/key). Для задач дополнительно добавляется информация об их вложениях и комментариях с множеством кортежей вида (task_key, id/name) Args: project (object): объект CmfProject entity (str): название сущности (название каталога или файла) field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вместе c id. Defaults to "name". Returns: dict: _description_ rN)countobjs undownloadedrrrs project_dirzr+r/rUz info.jsontasksr2 attachmentcSsh|]}t|dqS)r/)str)r4rxrrr sz:CmfPluginJira._get_dump_stats_by_entity.. attachmentsrsrrrtz, z comments.jsoncomments)zipfilesetrrLrr8joinpathis_fileopenZjsonloadsaddryis_diriterdirexistsloadstemisdigitr#remover9ra)rr@entityrOr}Zattachment_statsZ comment_statsZ dumped_countZ dumped_objsrvZ objs_pathfrowZobj_dataZobj_dirZ obj_data_filer{Zattachment_idsZattachments_diritemZcomment_data_fileZ comment_datastatsrrr_get_dump_stats_by_entitys                  z'CmfPluginJira._get_dump_stats_by_entitycCsDdd|gdddgg}|r"||t|}|j|dd}t}d} td || D]} |j|d d d d dgd| | | gd} | D]} | jr| jdd dnd} |rt | |dnd}| j rt | j d} | j |}|dkr| r|| jj| fq||dkr|| jj| fq||r(|| |fq||| q|qP||d}|S)u Возвращает информацию об обработанных объектах сущности Args: project (object): объект CmfProject entity (str): название cmf модели filter_by (list, optional): дополнительный фильтр. Defaults to None. field (str, optional): дополнительное поле сущности для добавления в кортеж объекта вида (id, name/key). Defaults to None. Returns: dict: _description_ r@=r !=NT)rMinclude_archiveddrz--rIr#z parent.coderL)rMr2rslicerHrUzversion:r/ CmfAttachment CmfCommentru)r9rXZget_model_by_namerrr~r]ZslistrIsplitlstripr&rLryr8rparentcode)rr@r filter_byrOZfilter_ZmodelZprocessed_countZprocessed_objsstepr`rsr5Zobj_idZ obj_fieldrrrr_get_process_stats_by_entity/sB        z*CmfPluginJira._get_process_stats_by_entityFc s|r^dd|Ddd|D}tt|}t|}fdd|D}n||}||}|sx|r|dndt|d} | S) u Возвращает результат проверки сдампленных и обработанных объектов в виде статуса и множества кортежей необработанных объектов Args: dump_objs (set): сдампленные объекты process_objs (set): обработанные объекты has_undownloaded (bool, optional): есть незагруженные вложения check_by_id (bool, optional): осуществлять проверку только по id. Defaults to False. cSsi|]}|d|dqSrrUrr4rfrrrrPxsz4CmfPluginJira._check_consistency..cSsi|]}|d|dqSrrrrrrrPyscsh|]}||fqSrr)r4Zid_Z dump_dictrrrz|sz3CmfPluginJira._check_consistency..uНЕКОРРЕКТНОZOK)status unprocessed)r~keys intersectionlist) rZ dump_objsZ process_objshas_undownloaded check_by_idZ process_dictrZdiff_idsrresultrrr_check_consistencyfs z CmfPluginJira._check_consistencycCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd|j|d|ddd}|jd|d|||S)u Возвращает статистику по спринтам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uFСбор информации о сдампенных спринтахZsprintsu%Сдамплено спринтов: rruLСбор информации об обработанных спринтахCmfListlogic_type.coderzlist.agile_sprint:defaultr#rrOu'Обработано спринтов: uСпринтыrdumped processeduПроверка консистентности между сдампленными и обработанными спринтамиrsT)ruСпринты: rr'r<rrrupdaterr@ dump_stats process_stats stats_datarrrr_get_project_sprint_statss4    z'CmfPluginJira._get_project_sprint_statscCs|jd||d}|jd|d|jd|j|dddd gd d }|jd |dd |d|dd}|jd||d|d}|jd|d|||S)u Возвращает статистику по релизам (версиям) проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uTСбор информации о сдампенных релизах(версиях)z versions.jsonu1Сдамплено релизов(версий): rruZСбор информации об обработанных релизах(версиях)rrrzlist.release:defaultr#ru3Обработано релизов(версий): u РелизыruПроверка консистентности между сдампленными и обработанными релизами(версиями)rsuРелизы(версии): rrrrrr_get_project_version_statss,    z(CmfPluginJira._get_project_version_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по компонентам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uLСбор информации о сдампенных компонентахzcomponents.jsonu+Сдамплено компонентов: rruRСбор информации об обработанных компонентахZ CmfComponentr#rOu-Обработано компонентов: uКомпонентыruПроверка консистентности между сдампленными и обработанными компонентамиrsuКомпоненты: rrrrrr_get_project_component_statss*    z*CmfPluginJira._get_project_component_statscCs|jd||d}|jd|d|jd|j|ddd}|jd |dd |d|dd }|jd ||d |d }|jd|d|||S)u Возвращает статистику по доскам проекта Args: project (object): объект CmfProject Returns: dict: данные статистики uBСбор информации о сдампенных доскахZboardsuСдамплено досок: rruHСбор информации об обработанных доскахZCmfKanbanBoardr#ru!Обработано досок: u ДоскиruПроверка консистентности между сдампленными и обработанными доскамиrsu Доски: rrrrrr_get_project_board_statss*    z&CmfPluginJira._get_project_board_statsc CsJ|jd|j|ddd}|jd|d|jd|dd|jd |d d|jd |j|d dd}|jd |dd|d|dd}dddg}|jd|j|ddddg|gd}|jd|dd|dd|dd|dd}|jd|j|ddd d!g|gd}|jd"|dd#|d d|dd} |jd$||d%|d%} |jd&| d'|| |jd(|j|dd%|d%t|ddd)} |jd*| d'|| |jd+||d d%|d%} |jd,| d'| | ||| gS)-u Возвращает статистику по задачам проекта, их вложениям и комментариям Args: project (object): объект CmfProject Returns: dict: данные статистики utСбор информации о сдампенных задачах, вложениях и комментарияхrwr0ruСдамплено задач: rru%Сдамплено вложений: r{u-Сдамплено комментариев: r|uJСбор информации об обработанных задачахrZu!Обработано задач: u ЗадачиrZ parent_idrJz CmfTask:%uNСбор информации об обработанных вложенияхrrLrN)ru'Обработано вложений: uВложенияrt)rrrtruTСбор информации об обработанных комментарияхrZ log_levelrru/Обработано комментариев: uКомментарииuПроверка консистентности между сдампленными и обработанными задачамиrsuЗадачи: ruПроверка консистентности между сдампленными и обработанными вложениями)ruВложения: uПроверка консистентности между сдампленными и обработанными комментариямиuКомментарии: )r'r<rrrrrB) rr@rrtask_stats_dataZ parent_filterZattach_process_statsZattachment_stats_dataZcomment_process_statsZcomment_stats_dataZ task_resultZattachment_resultZcomment_resultrrr_get_project_task_statss             z%CmfPluginJira._get_project_task_statsc Csvg}||}||||}||||}||||}||||}|D]}||qb|S)u Возвращает отчет сдампленных и обработанных объектов Args: project (object): объект CmfProject )rr9rrrr) rr@rZsprint_stats_dataZversion_stats_dataZcomponent_stats_dataZboard_stats_datarrrrr project_stats}s          zCmfPluginJira.project_stats)r#)NN)FF)$__name__ __module__ __qualname__modulesrr2cmf_plugin_jirarZ ui_meta_skiprZ api_methodspropertyrr"r$r+ staticmethodr-ryr r rDrFrhrnrqrrrrrrrrr __classcell__rrrorr sB     L   ] ; )%$$ar)pathlibr urllib.parserrZ cmf.includeZ#modules.jira.fields.cmf_plugin_jirarZmodules.jira.apirrr2rrrrrrs