В ежедневието си сме свикнали да виждаме живи, подробни изображения. Въпреки това, има скрита тайна: сензорите на камерата са по своята същност цветно-слепи. Всеки пиксел може да открие само яркост, а не цвят. Преобразуването на тези черно-бели данни в цветно изображение изисква сложна система. В основата на тази система се намира шаблона на Bayer (филтър Bayer) и процесора на сигнала на изображението (ISP). Тези два елемента действат като мозъка и очите на камерата, като работят заедно, за да оформят процеса от сигнали за сурова светлина до крайното изображение.
Като консултант, специализиран в модулите на камерата, тази статия ще предостави задълбочен анализ на модела Bayer, ще разкрие потока за обработка на ISP и ще проучи как тези основни технологии влияят директно на приложения като откриване на обекти в вградени системи за зрение. Ще предоставим експертна прозрения от гледна точка на инженера, като ви помагаме да разберете всяка ключова връзка във веригата на изображения.
Какво е Байер?
За да разберете модела Bayer, първо трябва да разберете как работят цифровите камери. Сензорът за камера е съставен от милиони фоточувствителни диоди (пиксели). Когато фотоните удрят тези пиксели, те генерират електрически заряд, чиято величина е пропорционална на интензитета на светлината. Тези пиксели обаче не могат да различават цветовете на светлината; Те записват само неговата яркост.
Моделът на Байер, често наричан филтър на Байер, е ново решение. Състои се от мъничък масив от филтри-червени (r), зелено (g) и синьо (b)-точно върху всеки пиксел. Този филтриран масив позволява на всеки пиксел да получава и записва само интензивността на специфичния цвят на светлината под него. Например, пиксел, покрит от червен филтър, записва само яркостта на червената светлина.
По този начин, изходът на суровите данни от сензора не е aЦветно RGB изображение, но монохромен мозаечен модел, известен като "Bayer Raw Data". Всеки пиксел в тези данни съдържа информация само от един цветен канал.
Защо зеленото е два пъти в модела на Байер
Ако погледнете внимателно типичен модел на Bayer, ще забележите, че има два пъти повече зелени пиксели от червени и сини пиксели. Това е известно като RGGB (или GRBG, BGGR и др.) Споразумение.
Този дизайн не е случайно; Той се основава на физиологичните свойства на човешкото око. Човешката ретина е най -чувствителна към зелена светлина, причинявайки нашето възприятие за яркост (или „сиви скали“) да идва предимно от зеления канал. Като разпределя повече пиксели на зелено, камерата е в състояние да улавя по -богата информация за яркостта, което води до по -голяма яснота и по -малко шум при реконструкция на изображението, в крайна сметка прави изображението да изглежда по -естествено и по -остри.
GGB срещу BGGR разлика
Има различни аранжименти за модели на Bayer, като RGGB и BGGR са двете най -често срещани. Докато и двете следват принципа „двойно зелено“, специфичното подреждане се различава.
В подредбата на RGGB червените и сините пиксели се поставят диагонално от зелени пиксели. В подредбата на BGGR зелените пиксели се поставят диагонално от червени и сини пиксели. Изборът на тези договорености засяга последващата обработка на ISP, по -специално алгоритъма за демозазиране.
Например, различните подредби засягат комбинацията от съседни пиксели по време на изчисленията на интерполацията. За вградените системи за виждане изборът на Bayer модел често зависи от дизайна на ISP чипа и изисква хардуерна и софтуерна координация, за да се гарантира окончателното качество на изображението.
Какво представлява ISP (процесор за сигнал за изображение)?
TheПроцесор на сигнала на изображението (ISP)е мозъкът на системата на камерата. Основната му задача е да получава необработени данни на Bayer RAW от сензора и чрез сложен тръбопровод за обработка ги преобразува в стандартен формат на изображението, който виждаме, готов за показване или анализ. ISP може да бъде самостоятелен чип или интегриран в основния контролен чип.
Ефективният ISP е ключов за високоефективния модул за камера. Всяка стъпка, с която се справя, е от решаващо значение и директно определя окончателното качество на изображението.
Тръбопровод за обработка на ISP
Пълният тръбопровод на ISP обикновено включва десетки стъпки за обработка. Тук ще подчертаем няколко ключови стъпки:
1. Лоша корекция на пикселите
По време на производствения процес сензорите могат да развият индивидуални лоши пиксели, които са или не светещи, или постоянно светещи. Първата стъпка от интернет доставчика е да се идентифицират и поправят тези лоши пиксели, заменяйки техните данни чрез интерполиране от околните пиксели.
2. Корекция на черно ниво
Дори в пълен мрак, сензорът все още произвежда слаб електрически сигнал поради „тъмен ток“. ISP изважда това фиксирано "черно ниво", за да гарантира, че черните пиксели са наистина нула, като по този начин подобрява динамичния обхват на изображението.
3. Обосноване
Когато сензорът е в ниска светлина, той генерира голямо количество произволен електронен шум. ISP използва сложни алгоритми, за да разграничи детайлите на изображението от шума и след това прилага намаляване на шума. Това може значително да подобри чистотата на изображението, но прекомерното намаляване на шума също може да изтрие детайлите.
4. Демозазиране
Това е една от основните функции на ISP. Алгоритъмът за демозацията на демозацията интерполира информацията за съседните червени, зелени и сини пиксели на всеки пиксел, за да изведе пълната стойност на RGB на този пиксел. Качеството на алгоритъма за демозацията директно определя възпроизвеждането на цветовете и детайлите на крайното изображение.
5. Авто баланс на бялото
Различните източници на светлина (като слънчева светлина, флуоресцентно осветление и осветление с нажежаема жичка) излъчват светлина с различни цветни температури. Функцията за баланс на Auto White анализира разпределението на цветовете в изображението и автоматично настройва усилването на червените, зелените и сините канали, за да се гарантира, че белите обекти са точно изобразени в бели под всеки източник на осветление. Този динамичен и сложен процес е една от основните точки за продажба на ISP.
6. Корекция на цвета (CCM)
Дори след балансиране на бялото, възпроизвеждането на цветовете на камерата може да не е точно. ISP използва цветна матрица за по -нататъшно коригиране на цвета, картографиране на родното цветно пространство на сензора на камерата в стандартно цветово пространство (като SRGB), за да гарантира съвместимост на цветовете на различни устройства.
7. Корекция на гама
Корекцията на гама е нелинеен процес за яркост на изображението, за да съответства на нелинейното визуално възприятие на човешкото око, като ярките и тъмни зони изглеждат по -естествени и по -богати в дълбочина.
8. Заточване и подобряване на ръба
ISP подобрява ръбовете в изображенията, което ги прави да изглеждат по -ясни и по -остри. Това обаче изисква прецизен контрол, тъй като свръх-свалянето може да въведе неестествени назъбени артефакти.
Въздействието на интернет доставчика върху компютърното зрение
За вградените инженери на зрението ISP е повече от просто инструмент за разкрасяване на изображения. Всяка стъпка на обработка в ISP пряко влияе върху работата на алгоритмите за компютърно зрение надолу по веригата. Игнорирането на ролята на ISP може да доведе до фатални недостатъци в приложения като откриване на обекти.
Ефектът на "черната кутия" на ISP
Много инженери погрешно гледат на интернет доставчика като „черна кутия“, като приемат, че е единствено отговорен за създаването на „добре изглеждащ“ изображение. Въпреки това, докато някои обработка на ISP могат да повишат визуалното качество, тя също може да пречи на алгоритмите за компютърно зрение.
Например, прекалено агресивното намаляване на шума от ISP може да изглади фините текстури и детайли в изображението, които са от решаващо значение за алгоритмите за откриване на обекти.
Предизвикателството на Auto White Balance
Нестабилният баланс на Auto White е основна болка в компютърното зрение. При променящи се условия на осветление, ако автоматичното баланс на бялото не успее точно да регулира цветовата температура, това може да причини цвят на цвят в изображението. Това може да направи обучените модели за откриване на обекти неефективни в приложенията в реалния свят, тъй като те не могат да открият обекти с актьорския състав.
Как да се справим с това
За да гарантират устойчивостта на алгоритмите за компютърно зрение, инженерите се нуждаят от ISP, оптимизиран за приложения за зрение. Това означава, че параметрите на ISP трябва да бъдат контролируеми и регулируеми, което позволява на инженерите да прецизират тръбопровода за обработка на изображения за специфични сценарии на приложение (като ярка светлина на открито или условия с ниска светлина през нощта). Освен това е от решаващо значение заИзберете модул за камераТова извежда сурови данни на Bayer. Това позволява на инженерите да извършват обработка на ISP в бекенд софтуер, осигурявайки максимална гъвкавост и контрол.
Резюме
Процесорът на шаблона на Bayer и Image Signal са крайъгълните камъни на цифровата верига за изображения, които работят заедно за трансформиране на сурови светлинни сигнали в полезна информация за изображението. Разбирането на всеки етап на обработка на ISP и разпознаването на неговото пряко въздействие върху алгоритмите за компютърно зрение надолу по веригата е от съществено значение за всеки вграден инженер за зрение. ISP не само допринася за естетиката на изображенията, но също така определя успеха на AI приложения като откриване на обекти и разпознаване на изображения.
MuchVision помага при оптимизация на ISP
Борявате ли се с оптимизацията на ISP на ISP за вашия проект?Свържете се с нашия експертен екип днесИ ние ще ви предоставим професионални услуги за избор на процесор за изображения и персонализиране, за да помогнете на вашия проект за вградено виждане да успее!
