ir- r d dl mZ d dl d dlmZ d dlmZ d dlmZ d dl G d dej Z
y) )TemporaryDirectory)*)cmf_project_import)
parse_file)AttachmentLoggerc e Zd ZU ej j
g dz ZdZeed< e d Z
fdZ ddefdZ ddZ
dd Zd
Zd Zd Z fd
ZddZddZd Zd Zd Zed fd Z xZS )CmfProjectImport) get_columnsget_column_valuesvalidaterun
ux_check_permN_attachment_loggerc B t j j | S )N)parent)models
CmfAttachmentgetselfs ../modules/project/models/cmf_project_import.pyfilezCmfProjectImport.file s ##''t'44 c ( t | dgz S )Nstatus)supersave_preload_fields)r __class__s r r z$CmfProjectImport.save_preload_fields s w*,z99r returnc x | j #t d| j ddd| | | _ | j S )uL Возвращает логгер для импорта с ротацией.project_import__
)prefix max_size_mb max_files
parent_obj
base_log_name)r r id)r r) s r
get_loggerzCmfProjectImport.get_logger sG " " * '7( 3 + 'D # &&&r c X t | j j | | y)u7 Логирование процесса импорта.N)getattrr+ logger)r messagelevels r logzCmfProjectImport.log) s 0!((%09r c | j j | d| |r |||fi |j yy)uR Логируем ошибки для совместимости с CmfImportPluginz: N)r+ errorsave)r msg
error_code error_modelkwargss r log_errorzCmfProjectImport.log_error- sB :,b 67 Z 26 2 7 7 9 r c | j r<| j j | j j d| _ yy)u^ Сохраняет текущий лог как аттач и закрывает логгер.N)r flush_to_s3closer s r save_import_logsz!CmfProjectImport.save_import_logs4 s< " " # # / / 1 # # ) ) +&*D # #r c ` ddl }ddl}ddlm} dd| gg dg}t j
j
| syt j
j | }t | dk( r|d S t 5 }|j j |d | j j d
}t j | d d
}|j |j |d 5 } |D ]I }
|
j! } | j# } | j% | |
j& j K ddd t |d 5 }
|j) |
ddd ddd |D ] }
|
j+ d ddd |S # 1 sw Y WxY w# 1 sw Y 9xY w# 1 sw Y S xY w)u Архивирует все лог-файлы импорта в tar.gz или оставляет единственный файл как есть.r N)configr ==) file_typer@ .log)filter import_logs_z.tar.gzzimport_logs.tar.gz.gz)r namerA zw:gz)arcnamerbF) make_previewbackup
mark_dirtyT)force)tarfileoscmfr? r r countlistlenr pathjoinr* valuer4 open get_rfiletmp_readonly_pathaddrG upload_stream_filedelete)r rN rO r? _filterlog_attachments tmp_dir_name archive_patharchive_attachmenttar
attachment cmf_rfile file_pathfs r zip_all_logsz CmfProjectImport.zip_all_logs; s dD)+FG##)))9 ..33 4
1 $"1% %
! .\ 77<< TWW]]OSZ6[\L!'!5!5) "6 "
# # % lF3
Fs"1 FJ * 4 4 6I ) ; ; =IGGIz/D/DGEF
F
lD)
mQ"55aeTYfk5l
m .
.
!!!-
.' ., "!
F
F
m
m ., "!s> 6A/F#%AF 5F# F !F# F F#F F##F-c | j j xs i }|j dd }|j dd }|j dd }|j dd }d| d| d| d | d
}t j j | d d d
dggdg }d}|r'd|j
d|j j d}d} t | d r9| j j dk( r d| j j d}
d|
d} | | | } t j j | | j d| d y ) N
total_rowsr
created_count
skipped_count error_countub
Статистика импорта:
Всего строк: u
Создано: u!
Пропущено: u
Ошибок: z
rA INrB rF url)r rC fields z
Скачать отчет (z) entity_typetaskz$%5B%27cmf_import%27,%20%27%3D%27,%20z%5Dz
Просмотреть импортированные задачиu Импорт завершёнT)objpersonrG r5 force_notify_current_person)
import_statsrV r r r rn rG hasattrrq r* CmfNotify place_notify
cmf_author) r statstotalcreatedskippederrors
stats_textlog_filelog_link
tasks_link filter_ubqlr5 s r send_completion_notificationz-CmfProjectImport.send_completion_notificationb s !!''-2 ,*))OQ/))OQ/=!, %w ' " $I & h
''++ 77 ,
*8<<.8UV^VcVcViViUjjopH
4 'D,<,<,B,Bf,L @ sSK9+ GO PJ XJzl3 %%??0(, &
r c d}| j sV| j j |v r>d}|D ]7 }t | | st | | j
s't
d| dd 9 t | di | y) u| Переопределяем сохранение для защиты настроек во время выполнения.)
validating in_progress)
json_settings
field_mapping
value_mapping
skip_on_errordefault_task_typerq r projectu' Нельзя изменять поле u5 во время выполнения импорта.TabortN ) is_newr oldrw r-
is_changed cmf_alertr r4 )r r8 locked_statusesprotected_fieldsfieldr s r r4 zCmfProjectImport.save s 8{{t{{/ A h *
R4'GD%,@,K,K Gw OD E MQ R
R v r c T | j ddg | j s
t dd | j j xs i }|j dd }g }t
t | j fi | D ]o \ }}|dk( s |r8t
| D cg c]! \ }} |t | j d# }}} Ft t | D cg c]
}|d |d
z d }}q |D ]* }
| j |
d | } d |
d
< | s | d d
|
d
< , d|iS c c} }w c c}w )u Возвращает заголовки столбцов файла в формате {"columns": [{"index": i, "name": name}, ...]}.r r # Файл не прикреплён.Tr first_rowr )indexrG u Колонка rD r Nvaluescolumncolumns)
load_fieldsr r r rV r enumerater strstriprangerS r ) r values_limitr8 settingsfirst_row_is_headerr irowidxvalcol
column_valuess r r
z CmfProjectImport.get_columns sH &/23yy ;4 H%%++1r ≪ =
499 A AB mFAsAv&XabeXf gHCQTc#hnn6F G gG g ]bbefibj\k lUXAw6O P lG l m BC 2 23w< NM CM -h 7 AH
B
7## h ms &D D%c | j ddg | j s
t dd | j j xs i }|j dd }t
}t t | j fi | D ]Z \ }}|dk( r|r|t | k r/|| } | r(|j t | j t | |k\ sZ n d|t | d | d
iS ) u Возвращает уникальные значения из указанного столбца в формате {"column": {"index": column_index, "values": [...]}}.r r r Tr r r r N)r r )r r r r rV r setr r rS rZ r r rR )
r column_indexlimitr8 r r r r r r s
r r z"CmfProjectImport.get_column_values s &/23yy ;4 H%%++1r ≪ =
499 A AB FAsAv-c#h&,'JJs3x~~ /06{e# LDL% Сначала выполните проверку файла.Tr r r )ri processed_rowsrj rk rl run_data_log import_id)r8 r u Импорт запущенr ) r loadr r rv r4 r r+ schedule_deferred_job
run_importr* rV r s r r
zCmfProjectImport.run s ;; %W W V^b c #
' j+dggmm1LM +HIIr c |dk( rSt j | }|r|j dk7 rt d| d t |j d| S t | |||| S # t $ r Y yw xY w) Nr
CmfProjectu& Не указан проект parent=Tr r r F)cmfutil
get_obj_by_id
class_namer CmfPermissionErrorr r r )clsrs
field_namepermr r s r r z CmfProjectImport.ux_check_perm s u} ..v6 !2!2l!B Fvh OW[\,.. 77 &7QQ
w$S*dFCC " s AA. . A:9A:)data_log)info)zERR-0001N)r$ )NNupdateN)__name__
__module__ __qualname__r r api_methodsr r __annotations__propertyr r r+ r1 r9 r= rg r r4 r
r r r r
classmethodr
__classcell__)r s @r r r s $55AA E K ,0(/
5 5: '6F ' ::+%"N-
^ $0S,M PJ. D Dr r N) tempfiler cmf.includemodules.project.fieldsr common.utils.csv_import_utilsr common.utils.attachment_loggerr 8modules.project.models.workers.cmf_project_import_workerr r r r r s. ' 5 4 ; FuD):: uDr