Форум Системы безопасности / Форум Видеонаблюдение /
slyfox
Новичок
Сообщений: 13
Рейтинг: 29
30.12.2014 21:48:11
slyfox, судя по Вашему описанию потребление памяти вполне вписывается в мои предположения.
Мне немного удалось проянить причину высокого потребления памяти.
Я проанализировал работу одного сервера, с которым ранее не наблюдалось никаких проблем, но в один прекрасный момент на нём Macroscop начал потреблять всю доступную оперативную память. Детальное изучение логов программы показало, что при старте очень долго инициализируется функционал работы с архивом. При использовании полностью заполненного массива из 12-ти 3 Тб дисков серверная часть тратила порядка 17 минут при старте на анализ данных архива. В лог-файле удалось обнаружить информацию о том, что на одном из дисков анализ данных длился порядка 14 минут. Исключение диска из массива, и перезапуск серверной части показали, что время запуска сократилось до 3-х минут, а потребление оперативной памяти вернулось на прежние значения. Диагностика же исключённого диска показала хорошие значения SMART, но очень низкое чтение и запись многих секторов.
Таким образом можно сделать вывод о том, что снижение производительности дисковой подсистемы или её неполадки, могут привести к повышению потребления серверной частью Macroscop оперативной памяти, что объясняется неспособностью системы с нормальной скоростью записать на дисковую систему данные, которые продолжают накапливаться в оперативной памяти.
по-моему для архива лучше DAS с нормальным Raid контроллером.
yurasek
Новичок
Сообщений: 38
Рейтинг: 104
08.01.2015 21:47:27
В конфигураторе Macroscop в настройках системы интеллектуального анализа при выборе экспертного режима работы детектора движения можно настроить зоны детектирования, для каждой из которых можно задать ограничение на размер объекта срабатывания детектора: минимальную ширину и высоту в процентах от соответственно ширины и высоты кадра. Эти значения можно задать как вручную, так и интерактивно в пределах от 0 до 50 %. При использовании ручного варианта при помощи трекбара можно выбрать необходимое значение, но после сохранения конфигурации с выбранным значением может оказаться так, что оно будет отличаться от заданного на один процент. Например, минимальная высота объекта от высоты кадра по трекбару может отображаться равной 4 %, а в интерактивном режиме это значение может быть равно 5 %.
P.S. Попробуйте интерактивно задать квадрат 3 на 3 % и посмотрите, что отображается при этом на трекбаре.
MACROSCOP
Бывалый
Сообщений: 332
Рейтинг: 1212
12.01.2015 11:31:20
Коллеги, добрый день.
По моим наблюдениям в версии 1.11.112 по сравнению с 1.9.73 заметно повысилось потребление оперативной памяти
Нами были протестированы версии 1.9.72 и 1.11.112. i7 (8 ядер) 4 GB W7 x64. Условия: 20 камер разрешения 1920x1080, 2 камеры 1280х720. Тестировалось при различных настройках детектора движения. Самый большой разрыв потребления памяти - при стандартных настройках. При них используемая память возросла на 23%, а загрузка ЦП снизилась на 42% (с 33 до 19).По поводу архива - да, если дисковая система не позволяет записать все кадры на жесткий диск, они начинают накапливатся до определенного предела в оперативной памяти. Как Вы верно и заметили, и приводит к тому использованию памяти, который у Вас наблюдается.
slyfox
Новичок
Сообщений: 13
Рейтинг: 29
12.01.2015 13:36:15
Коллеги, добрый день.
По моим наблюдениям в версии 1.11.112 по сравнению с 1.9.73 заметно повысилось потребление оперативной памяти
Самый большой разрыв потребления памяти - при стандартных настройках.
А какие НЕ стандартные настройки с требуемым потоком уменьшат потребление?
Как измеряли потребление ОЗУ?
У нас через монитор ресурсов загрузка дисков стабильно 6-9 МБайт/сек, при этом сам Macroscop занимает 4Гб и весь(!) остальной объем ОЗУ (28Гб) добивает кеш-данными. Дропов в ОЗУ и дисках нет.
yurasek
Новичок
Сообщений: 38
Рейтинг: 104
12.01.2015 23:58:57
Нами были протестированы версии 1.9.72 и 1.11.112. i7 (8 ядер) 4 GB W7 x64. Условия: 20 камер разрешения 1920x1080, 2 камеры 1280х720. Тестировалось при различных настройках детектора движения. Самый большой разрыв потребления памяти - при стандартных настройках. При них используемая память возросла на 23%, а загрузка ЦП снизилась на 42% (с 33 до 19).По поводу архива - да, если дисковая система не позволяет записать все кадры на жесткий диск, они начинают накапливатся до определенного предела в оперативной памяти. Как Вы верно и заметили, и приводит к тому использованию памяти, который у Вас наблюдается.
Прежде всего благодарю за проведённое Вами тестирование.
С какой заполненностью у Вас был архив на системе с версией 1.9.72 и 1.11.112?
Как отразится на потреблении оперативной памяти сервера Macroscop для старого и нового типа архива тестируемых версий, если в системе будет архив с полностью заполненным дисковым массивом 12 x 3 Тб?
Как сильно влияет выбранное время предзаписи на потребление оперативной памяти?
MACROSCOP
Бывалый
Сообщений: 332
Рейтинг: 1212
14.01.2015 13:56:20
yurasek
Новичок
Сообщений: 38
Рейтинг: 104
16.01.2015 00:41:17
Уважаемые разработчики!Какое событие происходит в версии Macroscop Server 1.11.112 между последним событием обработки и сортировкой архивных файлов, которое по времени занимает целых 30 минут!?Если посмотреть в этот момент в Process Explorer, то видно что сервер усиленно что-то делает на одном месте в основном потоке.Вот содержимое стека в этот момент:Archive.dll!alv.c+0x335 <- 30 минут упорного труда здесьArchive.dll!afy.b+0x17Archive.dll!cqw.a+0x78Archive.dll!cqw.a+0x243Archive.dll!cgs.g+0x4a9Archive.dll!act.a+0xf3Archive.dll!a6t.a+0x630Archive.dll!cb9.a+0x4a5MacroscopServer.exe!b0y.ae+0x827MacroscopServer.exe!b0y.w+0xba3MacroscopServer.exe!b0y.a6+0x235MacroscopServer.exe!b0y.bb+0x154MacroscopServer.exe!cgg.c+0xe7...Сортировка же занимает не более 6 секунд, после чего начинается работа с сетью и всё остальное.Потребление ресурсов Macroscop в этот момент.Date/Time CPU,% Ntw,% Prv,Mb Vrt,Mb GC,Mb Thrds16.01.2015 0:16:48 0 0 3175 17923 2452 3516.01.2015 0:17:48 0 0 3239 17923 2516 3516.01.2015 0:18:48 0 0 3293 17923 2576 3516.01.2015 0:19:48 0 0 3353 17923 2641 3516.01.2015 0:20:48 0 0 3417 17915 2707 3316.01.2015 0:21:48 0 0 3472 17915 2762 3316.01.2015 0:22:48 0 0 3478 17919 2473 3416.01.2015 0:23:48 0 0 3478 17915 2535 3316.01.2015 0:24:48 0 0 3478 17915 2592 3316.01.2015 0:25:48 0 0 3486 17915 2650 3316.01.2015 0:26:48 0 0 3486 17915 2702 3316.01.2015 0:27:48 0 0 3489 17915 2754 3316.01.2015 0:28:48 0 0 3502 17915 2803 3316.01.2015 0:29:48 0 0 3528 17915 2852 3316.01.2015 0:30:48 0 0 3569 17915 2907 3316.01.2015 0:31:48 0 0 3601 17915 2954 3316.01.2015 0:32:48 0 0 3641 17915 3006 3316.01.2015 0:33:48 0 0 3689 17915 3055 3316.01.2015 0:34:48 0 0 3730 17915 3098 3316.01.2015 0:35:48 0 0 3777 17915 3147 3316.01.2015 0:36:48 0 0 3823 17914 2659 3316.01.2015 0:37:48 0 0 3863 17914 2703 3316.01.2015 0:38:48 0 0 3902 17914 2743 3316.01.2015 0:39:48 0 0 3941 17914 2783 3316.01.2015 0:40:48 0 0 3981 17914 2825 3316.01.2015 0:41:48 0 0 4032 17914 2879 3316.01.2015 0:42:48 0 0 4110 17914 2960 3316.01.2015 0:43:48 0 0 4160 17914 3010 3316.01.2015 0:44:48 0 0 4230 17914 3080 3316.01.2015 0:46:31 0 0 4272 17914 3131 3316.01.2015 0:47:31 0 0 4320 17914 3169 3316.01.2015 0:48:31 0 0 4397 17914 3247 3316.01.2015 0:49:31 0 0 5386 18861 2714 016.01.2015 0:50:33 89 0 8701 22849 2895 165
yurasek
Новичок
Сообщений: 38
Рейтинг: 104
16.01.2015 00:42:58
Уважаемые разработчики!
Какое событие происходит между последним событием обработки и сортировкой архивных файлов, которое по времени занимает целых 30 минут!?
Если посмотреть в этот момент в Process Explorer, то видно что сервер усиленно что-то делает на одном месте в основном потоке.
Вот содержимое стека в этот момент:
Archive.dll!alv.c+0x335 <- 30 минут упорного труда здесь
Archive.dll!afy.b+0x17
Archive.dll!cqw.a+0x78
Archive.dll!cqw.a+0x243
Archive.dll!cgs.g+0x4a9
Archive.dll!act.a+0xf3
Archive.dll!a6t.a+0x630
Archive.dll!cb9.a+0x4a5
MacroscopServer.exe!b0y.ae+0x827
MacroscopServer.exe!b0y.w+0xba3
MacroscopServer.exe!b0y.a6+0x235
MacroscopServer.exe!b0y.bb+0x154
MacroscopServer.exe!cgg.c+0xe7
...
Сортировка же занимает не более 6 секунд, после чего начинается работа с сетью и всё остальное.
P.S. Мои извинения за сообщение выше. Редактор сообщений не блещет при вставке из буфера обмена.
MACROSCOP
Бывалый
Сообщений: 332
Рейтинг: 1212
27.01.2015 14:31:07
yurasek , то, что Вы наблюдаете - это этап загрузки индексной информации из архива в оперативную память. В некоторых случаях этот этап мог затягиваться при количестве архивных файлов порядка миллиона и больше. На сайте сейчас выложена версия 1.11.161, в которой эта оптимизация произведена.
siera
Гость
Сообщений: 1
Рейтинг: 2
03.02.2015 09:51:25
Здравствуйте разработчики macroscop. Нам очень важно ловить multicast с потока камер вроде такая функция реализована на вашем ПО, но как мы не пытались multicast он не льет версия по на сегодняшний день последняя. установленна отдельная сетевая карта для multicasta выставлены соответствующие приоритеты меняли формат потоков. с сервера multicast так и не льется, а если вещать multicast VLC плеером с этого же сервака он спокойно вещается! но не с вашего ПО в чем может быть проблема? версия по 1.11.112. заранее благодарен.