U
    Of0                    @   s   d dl Z d dlZd dlmZ d dlZd dlZd dlmZ d dlm	Z	m
Z
 d dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlmZ d dlT d dlmZ d dlmZ G d	d
 d
ejZdS )    N)deepcopy)Path)DictIterator)cached_property)*)cmf_plugin_csvcmf_contextc                   @   s   e Zd ZU dZe ed< dZdd Ze	dd Z
edd	d
Ze	ee dddZdd Ze	eeef dddZdd ZeeedddZdd Zdd Zdd Zdd Zdd Zd d! Zd"d# Zd$d% Zd&d' Zd(d) Z d*d+ Z!djed,d-d.Z"dked/d0d1Z#d2d3 Z$d4d5 Z%ed6d7d8Z&d9d: Z'd;d< Z(d=d> Z)d?d@ Z*dAdB Z+dCdD Z,dEdF Z-dGdH Z.e/j0e/j1e2dIdJdKdLdM Z3dNdO Z4dldPdQZ5dRdS Z6dTdU Z7dVdW Z8i dfdXdYZ9dZd[ Z:d\d] Z;d^d_ Z<d`da Z=dbdc Z>ddde Z?dfdg Z@dhdi ZAdS )mCmfPluginCsvN_loggerr   c                 C   s   t  d | _| jjd| jd  ddd tjrBttj| j| _| jjdtj dd t	 j
}| jjdt|d  d	dd tt|d
 | j| _| jstdd S )N   z
cpu_count=u%   , надо не менее 2 ядерT)Z	anonymouszconfig.IMPORT_PROCESS=zavailable_memory=i   @u-   Гб, по 2 Гигабайта на ядроl        u   Ресурсов системы недостаточно для импорта, обратитесь в техподдержку для дополнительной информации.)multiprocessing	cpu_countmax_processes
cmf_importlogconfigZIMPORT_PROCESSminpsutilZvirtual_memoryZ	availableint	Exception)selfZavailable_memory r   +./modules/settings/models/cmf_plugin_csv.py_prepare_multiprocessing   s&    

z%CmfPluginCsv._prepare_multiprocessingc                  C   s   dt j t jjddt j t jjddt j t jjddt j t jjddt j t jjddt j	 t j	jddt j
 t j
jdd	t j t jjdd
t j t jjddt j t jjddt j t jjdg} | S )uR   Собственный магазин при выборе импорта из Jirau#   Поля пользователей)captionfieldsiconu!   Поля контрагентовu   Поля задачu,   Оперативная гант-задачаu   Журнал работu!   Поля комментариевu   Поля проектовu"   Поля списков задачu   Поля группu   Поля активовu   Поля локаций)models	CmfPersonimport_shop_fieldsr   
CmfCompanyCmfTaskCmfGanttTaskCmfTimeTrackerHistoryZCmfTimeTracker
CmfComment
CmfProjectCmfListCmfPersonGroupCmfAssetCmfLocation)resr   r   r   calc_models_settings6   sB    









z!CmfPluginCsv.calc_models_settings)returnc              	   C   s   |j }d}d}z | |}t|D ]\}}q"W n tk
rn   d| d| }| j| t|dd d}Y nb tk
r   | jd| d|  d}Y n4 tt	fk
r   | jd| d|  d}Y nX |S )	NFr   uK   Не корректный формат загружаемого файла :T)abort*   Приложен пустой файл CSVu5   Не удаётся прочитать строчку)
full_path_file	_get_file	enumerateUnicodeDecodeErrorr   	exceptionZ	cmf_alertStopIterationIOError
ValueError)r   
attachmentZ	file_path
have_errorZnum	file_read_msgr   r   r   _check_fileR   s&    

zCmfPluginCsv._check_filec              	   c   s   t | j}|jdkrLtt|}|d}| D ]}dd |D V  q4n~|jdkrt	t|}|j
}|jddD ]
}|V  qvnF|jdkrtd	 t|d
"}tj|dddD ]
}|V  qW 5 Q R X d S )N.xlsr   c                 S   s   g | ]
}|j qS r   )value).0itemr   r   r   
<listcomp>n   s     z*CmfPluginCsv._get_file.<locals>.<listcomp>.xlsxT)Zvalues_only.csvi r;")Z	delimiterZ	quotechar)r   r2   suffixxlrdZopen_workbookstrZsheet_by_indexZget_rowsopenpyxlZload_workbookZactiveZ	iter_rowscsvZfield_size_limitopenreader)r:   Zattachment_file_pathZworkbookZ	worksheetelfiler   r   r   r3   g   s"    






zCmfPluginCsv._get_filec              	   C   s  |j | _|jsd S tjjdgdd|jgdgd}dg d}tjj|dd	d
ddggdgdgd}| |}|rpg S | 	|}| 
 }t|D ].\}}	|dkr|jd s qn|dkr qt|	D ]\}
}d}|dkr~|r^|jd r^t|jd D ]b}d|krd|kr q^|d dkr(q|d D ]*}|d |kr0|d | d} qq0q|s|d |d d d d q|d |
 }||d }||d< |r||d< |d |d< qq|d s| jd g S |gS )N-cmf_modified_atidz!=json_settings)order_byfilterr   ZCSVnamer   	file_typeINrF   r@   rE   urlparentrW   rV   r   r   	first_rowr   Fimport_settingsrY   r   titleT)ra   file_valmodel_fieldr   rb   rc   r   r1   )loggerr   Zattachmentsr   	CmfImportgetrT   CmfAttachmentr?   r3   _default_mapping_csvr4   rU   r   appendr6   )r   r   Zprev_settingssettingsr:   r;   r<   default_mappingirowjvalfoundZprev_setZ
prev_fieldZrow_settingsrc   r   r   r   calc_import_settings{   sh    




 

z!CmfPluginCsv.calc_import_settingsc               &   C   s  d} d}d}d| dd| dd| dd| dd	| dd
| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd| dd|dd|dd|dd|dd|dd|ddddddddddd ddd!ddd"ddd#ddd$dddd%dd&$}i }t j D ]}|||d' < q@| D ]P\}}|d(d)}|d*d)}	tt |}
||	| d+|	 |
jd,|
jd-||< q\|S ).ug    Структура сопоставления полей из файла CSV по умолчанию. r#   r'   r(   ext_id)
field_name
model_namerY   
logic_typeZcmf_modified_atcmf_created_atcmf_modified_bycodetextstatusZ
alarm_dateZdeadlinepriorityzresponsible.namezresponsible.emailzcmf_author.namezcmf_author.emailzexecutors.namezexecutors.emailparent_taskzparent_task.codezchild_tasks.codeZtask_code_prefixactivityactual_workr$   sched_start_datesched_finish_date
sched_workagregat_workactual_myself_workZactual_completeZactual_finish_dater&   )$u/   Ид внешней системы задачиu   Тема задачиu   Тип задачиu(   Дата изменения задачиu&   Дата создания задачиu*   ФИО изменившего задачуu   Код задачиu   Описание задачиu   Статус задачиu   Будильник задачиu$   Крайний срок задачиu   Важностьu   ФИО исполнителяu   Email исполнителяu   ФИО автораu   Email автораu!   ФИО соисполнителяu    Email соисполнителяu%   Родительская задачаu$   Код основной задачиu$   Код дочерней задачиu   Название проектаu   Код проектаu   Префикс задачu   Тип проектаu   Вид деятельностиu   Список задачu/   Фактические трудозатратыu&   Плановая дата началаu,   Плановая дата окончанияu/   Планируемые трудозатратыu2   Сумма дочерних трудозатратui   Фактические трудозатраты по собственным ресурсам задачиu-   Фактический % завершенияu   Дата финишаu   Комментарийr   rt    rs   .T)r   rs   field_qualnamer   requiredverbose_name)r   r#   r!   itemsrf   getattrr   r   )Zname_cmf_taskZname_cmf_projectZname_cmf_epicrk   Zdefault_local_attrs_mappingZshop_fra   Zvalue_modelrt   Z	name_attrmodelr   r   r   rh      sr    '
z!CmfPluginCsv._default_mapping_csvc                 C   s<  g }ddg g d}d}t jj|ddddd	ggd
gd}|sH| jjd | |}|jd rdt| t	|D ]\}}|dkr qg }	|d 
|	 t	|jD ]l\}
}|d sq|d d dd }|s|dkrd}|dkr|dkr|d 
|d d  |	
||
  qql|d r"|
| |s8d|d< d|d< |S )Nu   СделкиZ	handshake)ra   r   titlesrowsFrZ   r[   rF   r@   rE   rS   )r^   rW   rV   u)   Не найден файл импортаr_   r   r   rc   r   r   r   CmfDealT)r   r#   r   r   u   Задачиra   zcalendar-todayr   )r   rg   rf   r   rd   errorr3   rU   nextr4   ri   Zcsv_import_settings_fieldssplit)r   r   resultZdealsZis_dealZattachr<   rl   rm   Zdata_rowrn   rj   rt   r   r   r   preview   sD    



zCmfPluginCsv.preview)	row_arrayrj   r.   c           	      C   s   t  }t|d d D ]\}}|| s(q|d s4qn|d d |jkrHq|d d d}t||d }t|tjjrt	|dkr|d || i||d < qd|| i||d < q|j
d	kr| || ||d < q|| ||d < q|S )
Nr   r   rc   r   rs   r   r   rr   r{   )dictr4   r   r   r   
issubclassZcmfr   Z
CmfRelBaselen
class_nameZcalc_priority)	r   r   rj   r   r,   idxZfield_settingsZfield_partsfieldr   r   r   _map_object  s$    
zCmfPluginCsv._map_objectc                 C   s   d }|  || jjd tj}|rg }dddg}|D ]N}||d}|r2|dkrl|d|d|gdd|gg n||d|g  qq2|rtjj|d}|S )	Nr`   rr   rx   rY   r   OR==rW   )r   r   rU   r   r'   rf   ri   )r   rm   project_objproject_filteruniq_fields
uniq_fielduniq_field_valuer   r   r   _get_project3  s    
zCmfPluginCsv._get_projectc           
      C   s   d }|  || jjd tj}|rg }dddg}|D ]N}||d}|r2|dkrl|d|d|gdd|gg n||d|g  qq2|rtjj|dd	}	|d
d|gdd|	gg tjj|d}|S )Nr`   rr   rx   rY   r   r   r   sprinttree_parentZsys_typer^   r   r   )	r   r   rU   r   r(   rf   ri   	CmfFolderextend)
r   rm   r   
sprint_objr   r   r   r   r   sprint_folderr   r   r   _get_sprintH  s"    
zCmfPluginCsv._get_sprintc                 C   sx   t jjdd|gd}|stt jjdd| gd}t|dkrh| jjd| dt| d	d
dd td|rt|d }|S )Nrx   r   r   rY   ILIKEr   u<   Компаний с одинаковым названием z > uF   , укажите код компании вместо названияzERR-0071r"   Zobj_typeu]   Найдено несколько компаний с одинаковым названиемr   )	r   r"   rf   liststripr   r   	log_errorr   )r   rr   company	companiesr   r   r   _get_company_  s    zCmfPluginCsv._get_companyc                 C   s   d }|rg }dddg}|D ]V}| |d }|r|dkrX|d|d|gdd|gg n||d| g  qrq|rtjj |d}|std| d	n"tjj d
ddgd}| jj	d |S )Nrr   rx   asset_code_prefixr   r   =r   u/   Не найдена схема активов "uf   ", создайте схему и укажите префикс кода активов в файле.systemTu   Не указана схема активов. Установлена схема активов по-умолчанию (системная))
rf   r   ri   upperr   CmfAssetSchemer   r   rd   warning)r   asset_schemeasset_scheme_objr   r   r   r   r   r   r   _get_asset_schemes  s,    

zCmfPluginCsv._get_asset_schemec                 C   s   d }|r| dp$| dp$| d}|rp| }tjj dd|gdddd| dgdd|gdd	|gggdgd
}|std| d| d|S )Nrr   rx   rY   r^   r   r   LIKE%r   rW   r   u1   Не найдена группа активов "u   " в схеме uY   , создайте группу и укажите ID, код или имя в файле.)rf   r   r   CmfAssetCatr   )r   	asset_catr   asset_cat_objr   r   r   r   _get_asset_cat  s(    	zCmfPluginCsv._get_asset_catc                 C   s   d }|rg }dddg}|D ]R}| |d }|r|dkrX|d|d|gdd|gg n||d|g  qnq|r|dd|g tjj |d}|S 	Nrr   rx   rY   r   r   r   r^   r   )rf   r   ri   r   CmfAssetType)r   
asset_typer   asset_type_objr   r   r   r   r   r   r   _get_asset_type  s(    
zCmfPluginCsv._get_asset_typec                 C   s   d }|rg }dddg}|D ]R}| |d }|r|dkrX|d|d|gdd|gg n||d|g  qnq|r|dd|g tjj |d}|S r   )rf   r   ri   r   CmfAssetTypeCat)r   asset_type_catr   asset_type_cat_objr   r   r   r   r   r   r   _get_asset_type_cat  s(    
z CmfPluginCsv._get_asset_type_catc           	   	   C   s   t jj|}|j}|s|S |j}dd | D }|  }||}|s||krdd |	 D }t
d| d|j dd| |p|p|S )	Nc                 S   s   i | ]\}}|  |qS r   )lower)rB   kvr   r   r   
<dictcomp>  s    z9CmfPluginCsv._get_asset_field_choises.<locals>.<dictcomp>c                 S   s   g | ]}d | d qS rI   r   )rB   r   r   r   r   rD     s     z9CmfPluginCsv._get_asset_field_choises.<locals>.<listcomp>u&   Не найдено значение "u
   " для "u2   ". Укажите одно из значений: , )r   r*   r   rf   defaultchoicesr   r   r   valuesr   r   join)	r   rs   rA   r   Zfield_defaultZfield_choisesr   Zfield_valuer   r   r   r   _get_asset_field_choises  s     
z%CmfPluginCsv._get_asset_field_choisesc                 C   s   d }|r| dr|d  }tjj dddd| dgdd|gdd|gdd	|ggd
}|stjj dddd| dgdd|gdd	|ggd
}|s| jjd| dddd |S )Nrr   r   r   r   loginr   emailrY   r   r   rx   u7   Не найдена группа владельцев "rI   zERR-0085r*   r   )rf   r   r   r    r)   r   r   )r   responsibleZresponsible_objZresponsible_ext_idr   r   r   _get_asset_responsible  s4    		
z#CmfPluginCsv._get_asset_responsiblec              	   C   s   g }|r| dr|d }|dD ]}| }tjj dddd| dgdd|gdd|gd	d
|ggd}|stjj dddd| dgdd|gd	d
|ggd}|s| jjd| dddd q$|| q$|S )Nrr   rH   r   r   r   r   r   r   rY   r   r   rx   u5   Не найдена группа поддержки "rI   zERR-0086r*   r   )	rf   r   r   r   r    r)   r   r   ri   )r   Zsupport_group_datasupport_group_objsZsupport_groupssupport_groupZsupport_group_ext_idZsupport_group_objr   r   r   _get_asset_support_group  s:    		
z%CmfPluginCsv._get_asset_support_groupc                 C   sp   d }|rl| drl|d  }tjj dddd| dgdd|gdd|ggd	}|sl| jjd
| dddd |S )Nrr   r   r   r   rx   r   rY   r   r   u/   Не найдена локация/адрес "rI   zERR-0087r*   r   )rf   r   r   r+   r   r   )r   locationZlocation_objZlocation_ext_idr   r   r   _get_asset_locationB  s"    	
z CmfPluginCsv._get_asset_location)r   c                 C   s   |D ]}d|d< | j jd|  | | j tj|\}}|j  |rt|j	j
dkrtjjdd|j
gddd	ggd
}|j| |  qd S )NTZservicedesk_allowu1   Пытаемся создать компанию project.servicedesk:defaultzparent.coder   zproject_role.coder   zsdesk-client:defaultr   )r   rd   infoprocess_any_table_fieldsr   r"   dpcommitrL   ru   rx   ZCmfProjectRoleAssignrf   membersri   save)r   r   r   r   Zcompany_objis_newZrole_assignr   r   r   _process_companiesZ  s    

zCmfPluginCsv._process_companies)personsc           	      C   s   |D ]}d }| dr2|d  d}| ||d< | jjd|  | | jtj|\}}|j	  |rt
|jjdkr|jjst
|j}| j|t }|r|jr|jjtjs||jj qd S )Nr   rr   u9   Пытаемся создать пользователя r   )rf   r   r   rd   r   r   r   r    r   r   rL   ru   rx   Z
user_localrA   rT   person_emails
setdefaultsetr   endswithr   Z
ORG_DOMAINadd)	r   r   r   personZ
project_idZcompany_ext_idZ
person_objZperson_is_newZproject_person_emailsr   r   r   _process_personsk  s*    


zCmfPluginCsv._process_personsc                 C   s>  d|d j  d|d j  }d|d j d|d j }tjjdd|gd	}|s| jjd
 tjjdd|d j	dd  dgd	}|stjjdd}tj||| jdd}||_|j
r|jdd tjj|d d d}|sdd|d d gddd gg}tjj|d	}|s,tj|d d | jdd}|d d |_|d}|sV|d d }| |}	|	|_|d d |_|j
r|jdd |j  d|d d  }
tjj|
d}|stjjdd|gdd|ggd	}|stjjdd|d d gdd|ggd	}|s&| jjd tj|| j|dd}|
|_|d d |_||_|	|_|j
rZ|jdd d|d j  }d|d d  }tjj|d}|stjjd d}tj||| jdd}||_t|d jd!kr||_|j
r|jdd tjj|d ||d"d#}|s4|d |d"|| jdd$}tjf |}|jdd |||fS )%NzCSV::r^   ::ru   u   БП для проекта u    и типа rr   r   r   u/   Не нашли БП, создаем новыйrx   r   r/   r   r   zdefault.system:defaultrx   T)rr   templater   import_originalZsave_importrz   rr   rY   r   )rY   r   r   cache_status_typeworkflowstatus_codeu7   Не нашли статус, создаем новый)r   r   r   r   u%   CSV-схема для проекта softdev:default)task.agile:defaulttask.base:defaultr#   )ru   Ztarger_workflow	scheme_wfcmf_model_name)ru   Ztarget_workflowr  r   r   r   )rT   rY   r   CmfWorkflowrf   r   rd   r   rx   r   
is_changedr   CmfStatusCoderr   Zcalc_status_typestatus_type	CmfStatusr   CmfSchemeWfrL   Zdefault_task_workflowZCmfSchemeWfRule)r   taskrr   rY   r   r   Zcmf_status_coder   r   r  status_ext_idtask_statusZscheme_ext_idZscheme_nameZschemeZruleZ	rule_dictr   r   r   _process_workflow  s    *


 zCmfPluginCsv._process_workflowc           	      C   s  d }d }d }d }| dr8|d  dr8|d d  }|rtjj ddd| dgd}|s| jjd| d tjj d	d
|gdgd}|s| jjd| d tjj dd|gdgd}|r|jrd| |j |_nd| d|_|jdd |r|d d  }| jjd| d d	d
|gddd gg}tj	j |d}|rldd
|gdd
|gg}tj
j |d}|sdd
|gd	d
|gg}tj
j |d}|s| jjd| d dd
|gdd|gg}tj
j |d}|s| dr| |\}}}n| jjd ||d< ||d< |S )Nr   rr   r   %::::%r   u   Ищем БП по коду "rI   rx   r   r   u   Ищем БП по имени "rY   r   r   Tr   rz   u-   Ищем статус в БП по коду "r   r   u/   Ищем статус в БП по имени "ru   ut   Невозможно создать БП и статус, не указан логический тип задачи)rf   r   r   r  r   rd   r   rr   r   r  r  r  r   )	r   r  workflow_schemeZworkflow_ext_idr   r
  r	  Zfilter_r   r   r   r   _calc_workflow  sZ    zCmfPluginCsv._calc_workflow)projectsc                 C   s  |  D ]}|d }|ds&d|d< |dsDtjjdd|d< n| |d|d< |dsptjjd	d|d< |d
r| ||d
< | | jtj	|\}}|j
  |r| |d |}|r||_|  | |d | | |d | | |d | qd S )NdataZproject_typer   ru   project.agile:defaultr   r'   r   r   r}   	workflowssprintsr   r   )r   rf   r   CmfLogicType_process_logic_typer  _process_activityr   r   r'   r   r   _process_workflowsr   r   _process_sprintsr   r   )r   r  r   project_datar   r   r  r   r   r   _process_projects"  s*    




zCmfPluginCsv._process_projectsc                 C   sd   t jjdd}|D ]L}t jj|dd}||d< ||d< ||d< | | jt j|\}}|j  qd S )Nzlist.agile_sprint:defaultr   r   r   r^   r   ru   )	r   r  rf   r   r   r   r(   r   r   )r   r  r   Zsprint_logic_typer   r   r   r   r   r   r   r  <  s    zCmfPluginCsv._process_sprintsc                 C   sH   d }|D ]:}||d< | dr.| |d|d< | dr| |}q|S )Nr^   ru   r#   rz   )rf   r  r  )r   r  r   r  r   r   r   r   r  F  s    

zCmfPluginCsv._process_workflowsc                 C   s  |  || jjd tj}|rzdddddddddddddddddddd	}dddddddddd
	}|drb|d}|d   }||}|dkr||d< n|dkrd|d< d |d< ||d< ||d< n|dkr|dkr||d< n d|d< d |d< ||d< ||d< nRd|d< dd tjjj	
 D }	| jjd| dd|	 ddd |  jd7  _|dr|d dkr|d   }
||
|d< |d dkrdd tjjj	
 D }	| jjd|
 dd|	 ddd |  jd7  _dD ]&}||rt|| d  ||< q|d!d |D  |D ]}t|jj|||  q6|d"s|d#d$d%d&g |jjr|jjrtjj|j |jjj|jjj|jjjd'}||j_|jjjd(d) W nH tk
r   t  | jjd*| d+| d,dd |  jd7  _Y nX d S )-Nr`   0-const1-early2-latter3-after4-before2-before1-after)   фиксированнаяu   как можно раньшеu   как можно позже   не раньше   не позжеu    начало не позднееu   начало не ранее&   окончание не позднее"   окончание не ранее'   фиксированное начало-   фиксированное окончание   фн   фоu   кмрu   кмпu   ннрu   ннп   онр   онп)	u   фиксированныйr$  r%  r)  r'  r&  r+  r,  r-  constrain_start_typeconstrain_start_date)r  r  r  r   )r"  r!  constrain_finish_typeZconstrain_finish_date)r#  r(  r*  c                 S   s   g | ]}d | d qS r   r   rB   tr   r   r   rD     s     z/CmfPluginCsv._process_gantt.<locals>.<listcomp>uG   Не найден тип ограничения даты начала "u,   ". Укажите один из типов: r   zERR-0082r$   r   r   )r  r"  r!  c                 S   s   g | ]}d | d qS r   r   r1  r   r   r   rD     s     uM   Не найден тип ограничения даты окончания "zERR-0083)r   Z
const_workr   r~   r   <   c                 S   s   g | ]}d | qS )zop_gantt_task.r   )rB   keyr   r   r   rD     s     sched_durationzop_gantt_task.sched_start_datezop_gantt_task.sched_finish_datezop_gantt_task.sched_durationzop_gantt_task.const_duration)ZcalendarZfrom_dtZto_dtZforce_include_endsTr   u:   Не удалось импортировать Гантт u    для задачи zERR-0072)r   r   rU   r   r$   rf   r   r   r.  r   r   r   r   _has_errorsr0  floatZload_fieldssetattrZop_gantt_taskrA   r   r   ZCmfCalendarZget_duration_minutesZ_get_calendarZconst_durationr5  r   r   commit_with_event)r   rm   task_objZganttZconstrain_start_type_mappingZconstrain_finish_type_mappingr/  Zconstrain_start_type_rawr.  typesZconstrain_finish_type_rawr4  Zcalendar_durationr   r   r   _process_ganttS  s    







zCmfPluginCsv._process_ganttc                 C   s  dddddddddddddddddddd	dd
ddd
dddddddddddddddddddddddddddddd}|dkrdnd}| j jd||   || d|| d  }||}|rVtjjd!d"|d! gdgd#}|jr0||jkr>d$| |j |_nd$| d$|_|jrR|j	d%d& |S tjjdd'd(| d)gd*}|r||S | j jd+| d, tjjd!d"|gdgd#}|stjjd d-|gdgd#}|r|jr||jkrd$| |j |_nd$| d$|_|jr|j	d%d& |S | j jd. |d/kr:d}n|d0krJd}n|d1krXd}tjjd!d"|gd*}	t
d$| d$|||	d2}
| | j tj|
\}}t  |S )3N   Подзадачаztask.sub:defaultrY   rx   Z	UserStoryztask.userstory:defaultz
Task Agiler      Задачаr   Bugztask.bug:defaultEpicztask.epic:defaultu&   Проект. Классическийzproject.base:defaultu   Проект. Agiler  u   Проект. Service Deskr   Deviceasset.device:defaultSoftwarezasset.software:defaultVMzasset.vm:default)zSub-taskZSubtaskr=  ZStoryu   ИсторияZTaskr?  r@  u   Багu   ЭпикrA  u   КлассическийZAgilezService DeskZServiceDeskrB  rD  rE  r   ru   default_logic_typeu   Логический тип rr   rY   rx   r   r   r   Tr   r   r  r  r   uF   Ищем логический тип по коду или имени ''r   uF   Не нашли, создаем новый логический типr#   r'   )r*   r   )rr   rY   r  r   )r   rd   r   rf   r   r   r  rr   r  r   r   r   r9  )r   objrt   	name2codeZlogic_type_fieldrr   Zlogic_type_dictru   Ztemplate_coder   Zlogic_type_paramsr   r   r   r   r    s    



z CmfPluginCsv._process_logic_typec                 C   s  ddddddddddd	dd
ddddddddddddddd	}| j jd|d   |d d|d d}||}|rtjjdd|d gdgd}|jr||jkrd| |j |_nd| d|_|jr|jdd |S tjjddd | d!gd"}|r|S | j jd#| d$ tjjdd|	 gdgd}|sltjjdd%|	 gdgd}|r|jr||jkrd| |j |_nd| d|_|jr|jdd |S | j jd& t
d| d|	 d'}| | j tj|\}}t  |S )(u"    Виды деятельности   БизнесZbusinessr>     ПродажиZsales   МаркетингZ	marketing   ПроизводствоZ
production   ПоддержкаZhelpdesk   БухгалтерияZfinance!   ИТ инфраструктураZservicedesk%   Хозяйственная частьZ	household   Разработка ПОZsoftdev)	rJ  rK  rL  rM  rN  rO  rP  rQ  rR  u    Вид деятельности r}   rr   rY   rx   r   r   r   Tr   r   r  r  r   uJ   Ищем вид деятельности по коду или имени 'rG  r   uJ   Не нашли, создаем новый вид деятельности)rr   rY   )r   rd   r   rf   r   ZCmfActivityrr   r  r   r   r   r   r9  )r   r   rI  rr   Zactivity_dictr}   Zactivity_paramsr   r   r   r   r    sZ    

zCmfPluginCsv._process_activityc              
   C   s  | j jd t| j}d}t }| jD ]<}| j  r@ d S | j j| d|  |d7 }ddd|gdd|gg}tj	j
|d}|s| j jd	| d
dd |  jd7  _q*| j| D ]}zjddd|gdd|gg}tj	j
|dddgd}	||	_|	jjds|	jjdr|	j|	_|	jdd W q tk
rd   | j jd| ddd |  jd7  _Y qX qq*t | }
| j jd|
dd d S )Nu5   Привяжем подзадачи к задачамr       из r   rr   r   rx   r   uE   Не удалось найти родительскую задачу zERR-0073r#   r   r|   r   ru   r   ztask.subproject	task.epicTr   u4   Не удалось привязать задачу zERR-0074u<   Обработка подзадач выполнена за .3f    сек.)r   rd   r   r   subtaskstime	monotonic	is_cancelr   r#   rf   r   r6  r|   ru   rx   
startswithr   r   r   )r   totalrl   t1parent_ext_idr   r|   Zchild_ext_idZ_filter_childr  t2r   r   r   _process_subtasksT  sL    

zCmfPluginCsv._process_subtasksc           
   	   C   s  | j jd t| j}d}t }| jD ]}zj| j  rFW  d S | j j| d|  |d7 }tj	j
|d d}|stj	j
dd|d gd}|s| j jd	|d  d
ddd |  jd7  _W q*tjj
dd|d gd}|s| j jd|d  ddd |  jd7  _W q*tjj
dd|d gd}|s`| j jd|d  ddd |  jd7  _W q*tjj
|||d}|stj|||| j dd}|jdd W q*   | j jd| ddd |  jd7  _Y q*X q*t | }	| j jd|	dd d S ) Nu&   Создадим связи задачr   rS  typer   rY   r   r   u2   Не удалось найти тип связи "rI   zERR-0075CmfRelationTyper   rr   in_linku=   Не удалось найти входящую задачу zERR-0076r#   out_linku?   Не удалось найти исходящую задачу zERR-0077)relation_typerc  rd  T)re  rc  rd  r   r   r   u.   Не удалось создать связь zERR-0078CmfRelationOptionu8   Обработка связей выполнена за rU  rV  )r   rd   r   r   	relationsrX  rY  rZ  r   rb  rf   r   r6  r#   rf  r   )
r   r\  rl   r]  relation_datare  rc  rd  Zrelation_optionr_  r   r   r   _process_relations~  s|    

zCmfPluginCsv._process_relationsc                 C   s   |  || jjd tj}|r| jjd|  d|d< | j|d< d|d< |drntjj|d d	 d
|d< |drtj	j|d d	 d|d< tjf |}|j
r|jr|j
jtj|jjd |_|jdd d S )Nr`   u   Грузим журнал closedrz   r   Tr   
cmf_authorrr   r   r^   r   )Zminutesr   )r   r   rU   r   r%   rd   r   rf   r    r#   Z
start_dateZ
time_spentrA   datetimeZ	timedeltaZend_dater   )r   rm   Ztimetracker_historyhistoryr   r   r   _process_timetracker  s*    







z!CmfPluginCsv._process_timetracker
      )Z	max_triesZmax_timec                 C   s  | j jd }| ||tj}| |}|r|r|dsDtd||d< |dr| |d|d< |d j	
drtjj|dd	|d
< |dr| | |dr|d |d< |dr|ds|d= dD ]L}||}|r|drtjj|d d}ntjjf |}|r|||< q| j d|  dd| j jgdddgdd|d gg}| j jjdd }	|drd}	dd|d g}n.|drd}	ddd|d gdd|d gg}|	s2t|d|dd |dd d   }
| jjj|
dd}|" | j| j tj|||	d\}}W 5 Q R X n| j| j tj|||	d\}}|rtjd| jj d| jj d | j j	 d!d"|| j dd#}|jdd$ |j  | j d%| d&|d d'|d d(|d d)	 n8| j d*| d&|d d'|d d(|d d)	 |  || | !||}|rF|j"#  |j"$| |j%rZ|jdd$ |j  | ||tj}|r|d+r|d,r||d< | | j tj|\}}n&|r| j j&d-d.dd/ |  j'd07  _'| (| | j j  d S )1Nr`   rY   u:   Не указано наименование задачи!r^   ru   r#   rT  epicr   r   rz   r|   )rk  Z	cmf_ownerrw   r   Zwaiting_forrr   rl  u_   Пытаемся создать или обновить задачу по параметрам cmf_import.pluginr   r   Tmerge_identic_namesFrx   r   r   .lockx   timeout
filter_objdont_updateuB   Задача импортирована из файла: <a href="z" target="_blank">z</a> ()   )ry   Z	log_levelr^   r   r   r   u'   Создали новую задачу  ext_id= code= name='rG  u   Нашли задачу rv   ry   u   Невозможно импортировать задачу без проекта, создайте проект и укажите ID в файлеzERR-0079r   r   ))r   rU   r   r   r#   r   rf   r   r  rx   r[  r   r  r    r   pluginrA   hashlibsha256encode	hexdigestredis_dbredislockr   r&   import_filer\   rY   r   r   r   r<  r   Zlistsloadri   r  r   r6  ro  )r   rm   r`   r  r   r4  ro   r   r   r{  lock_keyr  r:  Ztask_is_newZcommentr   Zcomment_objZcomment_is_newr   r   r   _process_task  s    







(

"
..



zCmfPluginCsv._process_taskc                 C   s  | j jd }zR| ||tj}|s*W d S |ds<td| ||tj}|sZ|d}| |}| ||tj	}|s|d}| 
||}||d< |r|jn||d< |dr| |d|d< dd	i|d
< |dr| | |dr| ||d< | d|d|d< | d|d|d< | d|d|d< | d|d|d< | |d|d< | |d|d< |d}|r|d= | j d|  dd| j jgdddgdd|d gg}	| j jjdd }
|drd}
dd|d g}	nn|drd}
dd|d g}	nN|dr:d}
dd|d g}	n.|drhd}
ddd|d gdd|d gg}	|
s>tt|dt|dd t|dd t|d d t|d!d t|d"d t|dd t|dd d#   }| jjj|d$d%}|" | j| j tj||	|
d&\}}W 5 Q R X n| j| j tj||	|
d&\}}|r| j d'| d(|d d)|d d*|d d+	 n8| j d,| d(|d d)|d d*|d d+	 |j}| ||tj}|s|d-}| ||}|r |j !  |j "| | #|}|r@|j$!  ||_$|j%rT|j&dd. |j'(  W nJ tk
r } z*|  j)d/7  _)| j j*d0| d1dd2 W 5 d }~X Y nX | j j'(  d S )3Nr`   rY   u2   Не указано название актива.r^   r   ru   r*   rr   zasset.system:defaultr   rz   r}   Zownership_typeZdevice_typeZenabled_statusZoperational_statusr   r   r   u[   Попытка создать или обновить актив по параметрам rs  r   r   Trt  Frx   Zserial_numberZimeir   r   Zinv_noZphone_numberZmarkcoderu  rv  rw  ry  u#   Создан новый актив r~  r  r  rG  u   Найден актив asset_typesr   r   u*   Ошибка импорта актива. zERR-0084r   )+r   rU   r   r   r*   rf   r   r   r   r   r   r^   r  r  r  r   r   r   r   r  rA   r  r  rL   r  r  r  r  r  r   r   r   r  r  ri   r   r   r  r   r   r   r6  r   )r   rm   r`   Zassetr   r   r   r   Zsupport_group_tmpr   r{  r  r  Z	asset_objZasset_is_newr   r   r   excr   r   r   _process_assetl  s
   










..



zCmfPluginCsv._process_assetc                 C   s   d}t dd tj| _| j r$q| \}}|d krH|||f qz2| jj	d| d|  | 
| | | W q tk
r } z<|d7 }| jjd| d| d	| d
dd | jj  W 5 d }~X Y qX qW 5 Q R X || d S )Nr   F)Zinit_views_and_dsu   Импорт строки rS  r   u<   Не удалось импортировать строку z: z. zERR-0041r#   r   )r
   ZAPPZREDIS_DBr  r   rZ  rf   putrd   r   r  r  r   r   r   Zrollback)r   	row_queuerow_queue_errors
total_rowserrorsZrow_numZrow_datar  r   r   r   _process_row_worker!  s,    

*z CmfPluginCsv._process_row_workerc              
   C   s  ddl m} d}t  t  tjj|dgd}|| _tj	j|ddddd	ggd
gdgd| _
tdd | | j
D }tjdd}t }	g }
t| jD ]N}tj| jd|d  ||	|dd}|
| |  | jjd|  qt| | j
D ]f\}}| j r qj|jd r6|dkr6q||k rDq||krT qj||d |f q|d |
D ]}|  qx|	 s||	 7 }qW 5 Q R X W 5 Q R X |S )Nr   r	   r   )rT   r   rZ   r[   rF   r@   rE   rS   r\   r]   c                 S   s   g | ]}d qS r   r   rB   r=   r   r   r   rD   N  s     z2CmfPluginCsv.process_rows_fork.<locals>.<listcomp>i  )maxsizez_process_row_worker r   )r  r  r  )targetrY   kwargsu.   Параллельный обработчик r_   )NN)cmf.appr
   ZcmfutilZdisable_aclZdisable_notifyr   re   rf   r   rg   r  r   r3   queueZQueuerangeZthreading_max_forks	threadingThreadr  ri   startrd   r   r4   rZ  rU   r  r   empty)r   Zcmf_import_idstart_index	end_indexr
   r  r   r  r  r  threadsrl   threadrm   r   r   r   process_rows_fork?  sV    	




$zCmfPluginCsv.process_rows_forkc                 C   s   dd l }|jdddd| jjj d| jj d| d| d		gd
d
tddtddd}| jd|j d| d|  | j  |S )Nr   z/usr/bin/python3z	manage.pyshellz%plugin = models.CmfPluginCsv.get(id="z'");retcode = plugin.process_rows_fork("z", r   z);Tz"/var/log/eva-import-subprocess.logza+z&/var/log/eva-import-subprocess.err.log)Z	close_fdsZstart_new_sessionstdoutstderru,   Запустили подпроцесс PID u)    для обработки строк с u    по )	
subprocessPopenr   r  rT   rO   r   pidZ
log_detail)r   r  r  r  procr   r   r   _execute_rowsx  s      & 
zCmfPluginCsv._execute_rowsc                 C   s   | j }tdd | | jD }|| }|| }| jjd t }g }t	|D ]H}|| }|| }	|d |k r||	d8 }	n|	|7 }	| 
||	}
||
 qR|D ]"}
|
  |
jr|  j|
j7  _qt | }| jjd|dd d S )Nc                 S   s   g | ]}d qS r  r   r  r   r   r   rD     s     z.CmfPluginCsv._process_rows.<locals>.<listcomp>u5   Запуск обработки строк файлаr   uA   Обработка строк файла выполнена за rU  rV  )r   r   r3   r  r   rd   r   rX  rY  r  r  ri   Zcommunicate
returncoder6  )r   r   r  Z
chunk_sizeZ	remainderr]  Z	processesrl   r  r  r  r_  r   r   r   _process_rows  s*    
zCmfPluginCsv._process_rowsc                 C   s  |  D ]\}}i }|| d }|r|||d < | jjd|  tj| jdd}|  D ]\}	}
t||	|
 q^|  tjj	t
|jddgd}|r|n|}|jr|jr||_|jdd |j  | jjd	|j  |	d
r| |d
 ||p| qd S )Nra  u"   Обработка локации T)r   r   r   r^   rX   r   u   Создана локация children)r   updater   rd   r   r   r+   r8  Z
_calc_namerf   rL   rY   r  r   r^   r   r   r   _process_locations)r   	locationsZparent_location_dataZparent_location_objrY   r  Zcurrent_locationr   Znew_locationrs   rA   Zexisting_locationr   r   r   r    s4    


zCmfPluginCsv._process_locationsc                 C   s6   |D ],}||d< |  | jtj|\}}|j  qd S )Nr^   )r   r   r   r   r   r   )r   asset_type_catsr   r   r   r=   r   r   r   _process_asset_type_cats  s    z%CmfPluginCsv._process_asset_type_catsc                 C   sJ   |D ]@}||d< |  |d ||d< | | jtj|\}}|j  qd S )Nr^   r   )r   r   r   r   r   r   r   )r   r  r   r   r   r=   r   r   r   _process_asset_types  s    z!CmfPluginCsv._process_asset_typesc           	      C   s   |  D ]}|d }||d< |dr8| |d|d< ntjjdd|d< | | jtj|\}}|j	  |r|d D ] }| 
||}|rv|j| qv|jdd	 qd S )
Nr  r^   rF  r   rC  r   r  Tr   )r   rf   r  r   r  r   r   r   r   r   r   Zasset_types_catri   r   )	r   
asset_catsr   r   asset_cat_datar   r=   r   r   r   r   r   _process_asset_cats  s$    

z CmfPluginCsv._process_asset_catsc                 C   s   |  D ]}|d }|ds&td|ds<|d |d< dd|d g}| j| jtj||d\}}|j  |r| 	|d | | 
|d | | |d	 | qd S )
Nr  r   uI   У схемы не указан префикс кодов активов.rr   r   )rz  r  r  r  )r   rf   r   r   r   r   r   r   r   r  r  r  )r   asset_schemesr   asset_scheme_datar   r   r=   r   r   r   _process_asset_schemes  s$    



z#CmfPluginCsv._process_asset_schemesc                 C   s  | d}| d}| d}| d}| d}| d}| d}| d}	| j|d|i d	}
|
d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|d
 |d|i d	}|	rd|	d|d
 |	< d S )Ncountryareacitystreethouse_numberZfloorZflatZroom)ra  rY   r  r  )ra  rY   )rf   r  r   )r   location_dataZcountry_nameZ	area_nameZ	city_nameZstreet_namer  Zfloor_numberZflat_numberZroom_numberr  r  r  r  r   r   r   _prepare_location_data  sz    







							z#CmfPluginCsv._prepare_location_datac                 C   sz  | j jd }| ||tj}|rvdddg}|D ].}||d}|r0| j|i }||d<  q`q0|dg }| ||tj}	|	r|	|kr|	|	 ||d< |dg }
| ||tj
}|r|	|d	< ||
kr|
	| |
|d< |d
i }| ||tj}|rndddg}|D ]2}||d}|r||i }||d<  q@q|dg }|	rf|	|krf|	|	 ||d< ||d
< d S )Nr`   rr   r   rx   r   r  r  r  r   r  rY   )r   rU   r   r   r   rf   r  r   r   ri   r   r   )r   rm   r`   r  r   r   r   r   r  Zasset_type_cat_datar  Zasset_type_datar  r  r   r   r   r   _prepare_asset_data_  sJ    





z CmfPluginCsv._prepare_asset_datac                 C   s  | j jd }t| | jD ]\}}| j  r6 q| j jd rL|dkrLq| ||tj}| ||tj	}| ||tj
}|rxdddg}|D ].}||d}	|	r| j|	i }
||
d<  qq|
d	g }| ||tj}|r||kr|| ||
d	< |
d
g }| ||tj}|r|d}|s6|d}|drN|d |d< |d}|r|ds|d= |d}|s|d }| j|g }|r|| n,|  jd7  _| j jd|d  dddd || j|< | ||tj}|r|rd}|dr|d d }|drd|d d }|dD ]*}|||d}|| jkr8| j| q8|dr|d d }|dD ]*}|||d}|| jkr| j| qn,|  jd7  _| j jd|d  dddd |d|d|dd}||kr|| ||
d
< |
dg }|r@||kr@|| ||
d< |
d g }|rn||krn|| ||
d < n<|r|| jkr| j| |r|| jkr| j| | ||tj}|r| | | | qd!S )"u   
        Из строк файла собирает данные проектов, спринтов, БП, компаний и пользователей для последующего импорта
        r`   r_   r   rr   rx   rY   r   r  r  r  rr  r|   r   u   Строка u   : Невозможно создать связь с Epic или родительской задачей. Укажите код или ИД задачи в файлеzERR-0080r#   r   zsystem.finish:startre  rc  rH   )ra  rc  rd  rd  uy   : Невозможно создать связи задач. Укажите код или ИД задачи в файлеzERR-0081r   rz   ru   )r   rz   ru   r   r   N)r   rU   r4   r3   r  rZ  r   r   r"   r    r'   rf   r  r   r(   ri   r#   rW  r6  r   rf  r   rg  r   r   r+   r  r  )r   r`   rl   rm   Zcompany_dataZperson_datar  r   r   r   r   Zproject_sprintsZsprint_dataZproject_workflowsr  Ztask_ext_idr|   r^  rW  rh  re  Zrelated_tasksZrelated_taskZrelationr   Zproject_companiesZproject_personsr  r   r   r   _prepare_import_data  s    













z!CmfPluginCsv._prepare_import_datac                 C   sf  || _ |   g | _g | _i | _i | _i | _g | _i | _i | _	t
jj|dddddggdgdgd| _|   | | j | | j | | j | | j | | j	 |   |   |   | j jjd	d
rB| j D ]b\}}|sq| j jdt| d|  |r*tt
jj|t |gd qtt
jj!t |gd q| j"r^| j #d| j"  | j" S )NrZ   r[   rF   r@   rE   rS   r\   r]   Zsend_invitesTu,   Отправляем приглашения u    пользователям: )argsu#   Ошибок обнаружено: )$r   r   r   r   r  r   rW  rg  r  r  r   rg   rf   r  r  r   r   r  r  r  r  r`  ri  rU   rA   r   rd   r   r   Zschedule_deferred_jobr    Zregister_sdesk_clientr   Zregister_personsr6  r   )r   r   r   r   r   r   r   process_import  sT    	
zCmfPluginCsv.process_import)N)N)NNr   )B__name__
__module____qualname__r   ZloggingZgetLoggerClass__annotations__r6  r   staticmethodr-   boolr?   r   r   r3   rq   r   rL   rh   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r  r  r  r  r  r<  r  r  r`  ri  ro  backoffZon_exceptionZexpor   r  r  r  r  r  r  r  r  r  r  r  r  r  r  r  r   r   r   r   r      sz   

=?%!%b>
 I8*H
 	 6
9!
O0 r   )rN   Zmathcopyr   rm  r  pathlibr   typingr   r   r  r   r  r  r   rX  rM   rK   r   Zcmf.includeZmodules.settings.fieldsr   r  r
   r   r   r   r   r   <module>   s&   