Notícia

O desenvolvimento de sensores da imagem do CMOS e a perspectiva de usar promessas avançadas das tecnologias imagiológicas de melhorar a qualidade de vida. Com a emergência rápida do conversor analógico-numérico paralelo (CAD) e de tecnologias iluminadas parte traseira (do BI), sensores da imagem do CMOS domine atualmente o mercado da câmara digital, quando os sensores empilhados da imagem do CMOS continuarem a fornecer a experiência aumentada da funcionalidade e do usuário. Este papel revê realizações recentes de sensores empilhados da imagem na evolução de arquiteturas do sensor da imagem para acelerar melhorias do desempenho, para expandir a detecção de capacidades, e a borda da liga que computa com várias tecnologias empilhadas do dispositivo.
Os sensores da imagem são usados atualmente em uma variedade de aplicações. Desde a invenção do dispositivo carga-acoplado (CCD) em 1969, os sensores de imagem de circuito integrado espalharam a uma variedade de mercados de consumidores, tais como câmaras de vídeo e câmaras digitais compactas. O sensor da imagem do CMOS, que foi o sensor de imagem de circuito integrado do grosso da população desde 2005, construções na tecnologia desenvolvida para CCDs. Além do que smartphones, atualmente o mercado o maior do sensor da imagem, procura para sensores da imagem está expandindo rapidamente para incluir câmeras de rede para a segurança, a visão por computador para a automatização de fábrica, e câmeras automotivos para a condução ajudada e sistemas de condução autônomos.
Um ponto de viragem principal na tecnologia de sensor da imagem do CMOS era o desenvolvimento bem sucedido dos sensores parte-iluminados da imagem (do BI), que permitiram o desenvolvimento de estruturas empilhadas de sensores da imagem, segundo as indicações de figura 1. Na estrutura (FI) dianteiro-iluminada original, era difícil reduzir o tamanho do pixel do sensor porque a luz de incidente teve que ser recolhida pelo fotodiodo com uma diferença cercado por linhas do metal. As estruturas iluminadas parte traseira (do BI) melhoraram extremamente a sensibilidade e para permitir a flexibilidade no roteamento do metal, e transformou-se um produto popular para os sensores da imagem devido à ligação da bolacha e às técnicas de diluição da bolacha extremamente uniforme. Os sensores da imagem estão tornando-se gradualmente para as estruturas empilhadas, em que os circuitos de lógica são integrados diretamente na bolacha baixa. O processo de empilhamento permite um de mais alto nível da integração dos elementos altamente paralelos em uns processos mais avançados do CMOS, independente dos conversores analógicos-numéricos (CAD) e do tratamento dos sinais do processo do sensor personalizado para os fotodiodos do pixel. As estruturas empilhadas do dispositivo continuam a mudar dramaticamente arquiteturas do sensor da imagem.

Figure 1. estruturas de um sensor da imagem do CMOS. (a) a estrutura do FI, (b) estrutura do BI, e (c) empilhou a estrutura com vias.
Este papel revê tendências em arquiteturas do sensor da imagem com dispositivos empilhados acelerar significativamente melhorias do desempenho, para expandir a detecção de capacidades, e integra as capacidades de computação da borda conectadas à camada do sensor. A segunda seção apresenta arquiteturas diferentes do sensor para as configurações de dispositivo empilhadas que permitem a definição alta do pixel e a imagem latente alta da taxa de quadros através dos CAD coluna-paralelos altamente paralelos. A seção 3 apresenta alguns circuitos avançados do pixel executados usando as conexões do Cu-Cu do pixel-passo que são críticas para o melhor desempenho do pixel em definições práticas do pixel. as conexões do Cu-Cu do Pixel-passo igualmente estão permitindo arquiteturas do sensor de mover-se para a numeração pixel-paralela. A seção IV apresenta alguns avanços nas arquiteturas do sensor que estendem a detecção de capacidades, tais como a profundidade espacial, contraste temporal que detecta, e na imagem latente clara invisível. A seção V introduz os sensores da visão que integram aceleradores da inteligência artificial (AI) na borda. Finalmente, a seção VI dá algumas conclusões.
II. gravação com sobre filmes do megapixel
A gravação do filme exige uma taxa de quadros pelo menos de 30 ou 60 frames por segundo (fps), mesmo que o número de pixéis esteja aumentando do formato a alta definição de 2 megapixel (HD) 8 ao formato do megapixel 4K. Adicionalmente, uma operação mais alta da taxa de quadros, tal como 120, 240 ou 1000 frames por segundo (fps), pode fornecer o playback do lento-movimento. Desde que a arquitetura coluna-paralela do CAD foi proposta em 1997, as taxas de quadros melhoraram aumentando o número de CAD paralelos e acelerando a operação própria do CAD. As estruturas empilhadas ajudam a maximizar taxas de quadros enquanto a melhor tecnologia de processamento pode ser aplicada aos pixéis e aos periféricos do sensor. A fabricação do sensor exige diversos processos da implantação de íon formar fotodiodos e transistor com baixo escapamento da junção. Contudo, o processo da lógica exige a baixa resistência e transistor de alta velocidade. Para pixéis, três ou quatro camadas de fiação são geralmente suficientes, mas aproximadamente dez camadas de fiação são exigidas para circuitos de lógica. A técnica de empilhamento usada pode aliviar as limitações de oposição de sensores não-empilhados da imagem na mesma microplaqueta, incluindo pixéis do sensor e circuitos de lógica.
Arquitetura de A. Duplo Classificação CAD
Atualmente, a maioria de sensores da imagem do CMOS incluem uma disposição de pixéis, milhares de CAD e circuitos de lógica organizados em uma estrutura coluna-paralela. Segundo as indicações de figura 2 (a), vias do através-silicone (TSVs) situados fora da disposição do pixel conecta as colunas do pixel ao CAD em uma forma altamente paralela. Primeira na imagem empilhada do CMOS o sensor introduziu em 2013, o análogo e as partes digitais da coluna CAD eram rachadas em microplaquetas superiores e inferiores, respectivamente, segundo as indicações de figura 2 (b). Em 2015, uma arquitetura da duplo-coluna CAD foi proposta e conseguida uma taxa de quadros de 120 fps nos pixéis de 16M, onde a coluna CAD foi movida completamente para a microplaqueta inferior, segundo as indicações de figura 2 (c). A microplaqueta do sensor é fabricada usando um processo feito sob encomenda do sensor 90nm para fotodiodos, usando somente a lógica do NMOS. As microplaquetas de lógica são fabricadas usando um processo padrão de um CMOS de 65 nanômetros. Desde que a coluna CAD pode ser executada independentemente da microplaqueta do sensor, o CAD pode altamente ser integrado. Além do que o aumento da taxa de quadros, os CAD paralelos redundantes são usados para reduzir o ruído calculando a média conversões analógicas-numéricas múltiplas (do ANÚNCIO), segundo as indicações de figura 3. A saída de um pixel é distribuída a dois CAD simultaneamente, e as duas saídas digitais são somadas para reproduzir o quadro da imagem. As fases do sincronismo dos dois CAD são levemente diferentes conseguir a redução de ruído reduzindo a correlação entre seus sinais ruidosos.

Figure a aplicação 2. de um sensor empilhado da imagem do CMOS. (a) conexão de TSV entre o fotodiodo e o circuito de lógica. (b) o primeiro sensor empilhado da imagem do CMOS. (c) arquitetura do Duplo-grau CAD.

Figura 3. diagrama de bloco simplificado (esquerdo) e características melhoradas do ruído (direitas) de uma arquitetura do duplo-grau CAD.
A Três-camada do B. empilhou o sensor da imagem do CMOS com memória de acesso aleatório dinâmica (a GOLE)
Como o número de pixéis e de aumentos paralelos dos CAD, grandes quantidades da saída dos sensores da imagem de dados. Em 2017, um sensor empilhado três-camada da imagem do CMOS foi proposto gravar o vídeo do lento-movimento em 960 fps, segundo as indicações de figura 4; as três camadas são conectadas por vias do através-silicone (TSVs), e os dados obtidos do CAD paralelo são protegidos o na segunda camada de GOLE para conseguir a captação de movimento lento. Para a gravação super do lento-movimento, o sensor pode correr em 960 fps na definição completa de HD quando os dados digitais do CAD forem protegidos temporariamente na GOLE sobre um ônibus 102-Gbit/s. Quando o sensor detecta disparadores do usuário ou o movimento rápido na cena durante o tiro do filme de 30 fps, a velocidade do readout transforma-se 960 fps. Até 63 quadros da definição completa de HD podem ser armazenados na GOLE em um momento e em uma saída de dados protegida durante a captação subsequente do filme.

Figure que 4. Três-camadas empilharam o sensor da imagem do CMOS com GOLE
C. Para a grande tecnologia ótica da Microplaqueta-em-bolacha do formato
Os sensores empilhados da imagem do CMOS introduzidos até agora são fabricados em um processo da ligação da bolacha-em-bolacha (wow). Contudo, desde as dimensões do sensor e da lógica as microplaquetas devem ser as mesmas, este processo não são sempre a melhor escolha, especialmente para um grande formato ótico. Um outro método de empilhamento envolve a ligação da vaca, segundo as indicações de figura 5 mostrada. A eficiência da área for a melhor na ligação do wow quando uma microplaqueta de lógica do mesmo tamanho porque o formato ótico é enchido completamente com os CAD altamente paralelos e os blocos de apartamentos digitais. Contudo, se o circuito de lógica é menor do que o formato ótico, a configuração da vaca tem a melhor eficiência da área, quando a configuração do wow custar edições.

Figura eficiência de 5. áreas do wow e para acobardar processos de ligamento para grandes sensores óticos da imagem do formato.
Um sensor empilhado da imagem do CMOS que usa o processo da ligação da vaca [12] foi relatado em 2016, realizando um sensor global da imagem do obturador para câmeras da transmissão com um formato ótico de super-35 milímetro. Aqui, duas microplaquetas de lógica cortada são projetadas em um processo de 65 nanômetro CMOS com CAD e microbumps paralelos e empilhadas em uma grande microplaqueta do sensor projetada para pixéis globais do obturador, segundo as indicações de figura 6. Uma microplaqueta de lógica do entalhe com um prolongamento alto é conectada ao sensor através dos microbumps com um passo do µm 40. Consequentemente, o número total de conexões é aproximadamente 38 000. O sensor igualmente permite o playback super do lento-movimento em 480 fps através de 8 megapixels.

Figure o sensor empilhado 6. da imagem do CMOS usando o processo da ligação da vaca.
Figura 7 mostra tendências do desempenho para grandes sensores da imagem do ótico-formato, com 50 megapixels e 250 fps para sensores da imagem de full-35-mm-format em 2021. Para aumentar o número de CAD paralelos e aumentar incrementalmente o amortecedor de quadro estático da memória de acesso aleatório (SRAM), o processo do wow é usado para conseguir o elevado desempenho. Por outro lado, o processo da vaca é usado para equilibrar a efficiência econômica com o desempenho de grandes sensores do ótico-formato. Igualmente é introduzido em 2021 um sensor de uma imagem de 3,6 polegadas com os 127 milhão pixéis e as quatro microplaquetas de lógica empilhados usando um processo da vaca. O desafio seguinte para o processo da vaca é aumentar a taxa de transferência de colocação da microplaqueta na bolacha para aumentar a produtividade.

Figure 7. tendências do desempenho para grandes sensores óticos da imagem do formato.
III. arquitetura da paralela do pixel
Na seção precedente, a arquitetura do sensor que usa dispositivos empilhados foi utilização principal para aumentar a taxa de quadros da arquitetura baseada CAD coluna-paralela. Esta seção apresenta alguns avanços baseados em arquiteturas pixel-paralelas usando conexões do Cu-Cu do fino-passo. Aqui, as conexões entre o sensor e as camadas da lógica foram mudadas de TSVs às conexões híbrido-ligadas do Cu-Cu, segundo as indicações de figura 8 (a). Em uma configuração de TSV, as linhas de sinal são distribuídas à camada da lógica na periferia da disposição do pixel. Ao contrário, as conexões do Cu-Cu podem ser integradas diretamente sob o pixel, e estas conexões reservam aumentar o número de conexões. As tendências as mais atrasadas em relação ao afastamento da conexão do Cu-Cu são mostradas em Fig. 8 (b). O processo de ligamento híbrido de sensores da imagem exige milhões de conexões do Cu-Cu sem defeitos da conexão, quando o contato que espaça diminuir gradualmente com a conexão estável de um grande número contatos; além disso, o Cu-Cu de 1-µm tem sido relatado recentemente o afastamento bond híbrido. Estas conexões do fino-passo permitirão arquiteturas de circuito pixel-paralelas de ser fabricadas em dimensões práticas do pixel.

Figura 8. junção do Cu-Cu que espaça a estrutura simplificada (a) e (b) o seção transversal do dispositivo das tendências.
Expansão do circuito do pixel de A. Stacked
As técnicas e as aplicações numerosas foram propostas na literatura melhorar muito bem o desempenho do pixel com a expansão do circuito do pixel, tal como a capacidade (FWC), e executar funções adicionais, tais como o obturador global. Figura 9 (a) e (b) mostram a configuração do pixel para o único ganho da conversão e o ganho dobro da conversão, respectivamente. Os balanços de alta tensão da experiência capacitiva menor de CFDs da ótica eletrónica para o readout de baixo nível de ruído, mas são saturados facilmente por um grande número elétrons do sinal. Contudo, os pixéis com ganhos da conversão dupla são comutados pela operação sequencial entre os dois ganhos da conversão, permitindo leituras de baixo nível de ruído no CFD e leituras altas do alcance dinâmico (HDR) em CDCG; além, as despesas gerais da área de transistor adicionais e da definição alta do pixel dos capacitores são conseguidas limitando a quantidade que o tamanho do pixel pode ser reduzido. Em 2018, uma extensão empilhada do circuito do pixel com ganho dobro da conversão foi proposta; os circuitos adicionais foram executados na microplaqueta inferior através das conexões pixel-paralelas do Cu-Cu, segundo as indicações de Fig. 9 (c). Comutando entre ganhos da conversão de 20 e 200 µV/e-, um pixel de 1.5-µm foi indicado com sucesso com um alcance dinâmico de DB 83,8 e de baixo nível de ruído de 0,8 e-rms. Segundo as indicações de figura 10, o pixel-nível configuração de circuito empilhada foi aplicado à função global do obturador do tensão-domínio e ao pixel com ganho dobro da conversão. 2019 demonstraram um pixel global do obturador de 2,2 µm com uma eficiência do obturador de DB mais de 100. Pixéis avançados com o obturador global do ganho e do tensão-domínio da conversão dupla para conseguir tamanhos do pixel de 0,8 µm e de µm 2,3, respectivamente, sem pixel-nível que empilha a escamação do circuito; contudo, as configurações empilhadas do pixel são esperadas ainda aumentar o desempenho do pixel para pixéis menores.

Figura 9. configurações de circuito (a) do pixel com único ganho da conversão, (b) com ganho dobro da conversão, e (c) com ganho dobro da conversão e os pixéis empilhados com conexões paralelas do Cu-Cu.

Figura 10. configuração de circuito do pixel de um obturador global empilhado do tensão-domínio através das conexões pixel-paralelas do Cu-Cu.
B. Pixel Paralelo CAD
Desde o conceito da numeração pixel-paralela foi proposto em 2001, sensores empilhados Cu-Cu-conectados pixel-paralelos da imagem com processos de ligamento híbridos foram propostos igualmente. as despesas gerais da área do Dentro-pixel em circuitos complexos limitam definidamente a definição do pixel, mas em 2017 um sensor empilhado 4,1 megapixel da imagem com uma arquitetura disposição-paralela do CAD foi proposto, seguido em 2018 pelo sensor 1,46 empilhado da imagem da paralela um CAD do megapixel. A arquitetura pixel-paralela do CAD conseguiu a definição de Mpixel devido às conexões finas do Cu-Cu do passo do processo de ligamento híbrido. Segundo as indicações de figura 11, a único-inclinação CAD é usada em arquiteturas coluna-paralelas pixel-paralelas e tradicionais, mas sem circuitos do seguidor da fonte. os amplificadores de transistor do Em-pixel são integrados diretamente nos comparadores, conectando cada pixel à microplaqueta inferior através de duas conexões do Cu-Cu. Devido à limitação da área do contador, o código cinzento é atribuído às travas do em-pixel, e os encanamentos do readout digital foram executados usando CAD sob a disposição do pixel.

Figura 11. configuração de circuito do CAD pixel-paralelo.
Figura 12 (a) mostra uma microplaqueta do protótipo com uma arquitetura pixel-paralela do CAD; embora cada CAD seja executado com um passo do pixel do µm somente 6,9, onde a corrente quieta do comparador é limitada a nA 7,74, o assoalho do ruído devido ao controle da largura de banda eficaz suprimido a 8,77 e−rms. Todos os CAD pixel-paralelos se operam simultaneamente como um obturador global; consequentemente, segundo as indicações de figura 12 (c), nenhuma distorção do plano focal de obturador de rolamento segundo as indicações de figura 12 (b) é observado nas imagens capturadas usando o protótipo. as arquiteturas Pixel-paralelas do CAD continuam a ser desenvolvidas. O trabalho o mais recente mostra em 2020 um passo do pixel do µm 4,6, um alcance dinâmico da 127-dB, e um ruído de 4.2e−rms, e um trabalho do µm 4,95 e um ruído de 2.6e−rms.

Figura 12. aplicação da Em-microplaqueta de um CAD pixel-paralelo. (a) micrografia da microplaqueta. (b) imagens capturadas usando a operação do obturador de rolamento e (c) usando a operação global do obturador.
Contador do fotão de C. Pixel Paralelo
O fotão que conta a imagem latente, igualmente conhecida como a imagem latente do quantum, é uma técnica prometedora para permitir a captação da imagem com readout silencioso e imagem latente alta do alcance dinâmico (HDR). Fotão-contando a imagem os sensores que usam diodos de avalancha do único-fotão (SPADs) são um dos desafios da numeração pixel-paralela com do empilhamento de técnicas. A corrente da avalancha é provocada por um único fotoeletrão, e na ausência de todo o ruído dos circuitos análogos da parte frontal, o evento pode ser visto digitalmente como uma contagem do fotão. Isto exige a aplicação de circuitos complexos para cada SPAD; considerando que empilhado as estruturas do dispositivo com conexões do pixel têm o potencial para o fotão altamente integrado que conta a imagem latente.
Um sensor decontagem da imagem de SPAD com um alcance dinâmico de DB 124 e de usar um subframe que extrapola a arquitetura foi relatado em 2021. Uma disposição parte-iluminada do pixel do diodo de avalancha do único-fotão (do BI) (SPAD) é empilhada na microplaqueta inferior, e os circuitos do readout são conectados através do Cu-Cu pixel-paralelo, segundo as indicações de figura 13 (a). Fig. 13 (b) é um diagrama esquemático de uma unidade do pixel. Cada pixel tem um contador de ondinha digital de 9 b (NC) que conte o número de fotão do incidente. O excesso leva (DE) do contador é retornado ao extingue o circuito para controlar a ativação de SPAD e para travar o código cronometrando (TC). Um código do sincronismo de 14 b (TC) então for atribuído a todos os pixéis e cancela o contador quando de mudanças da bandeira, segundo as indicações do diagrama cronometrando em figura 14. Lido para fora 9 contagens de b dos fotão ou do TCs travado de 14 b e para obter exatamente todas as contagens do fotão em condições de luminosidade reduzida sem excesso contrário. Contudo, quando o contador transborda em condições de luz brilhantes, o pixel de transbordamento grava o tempo e extrapola o número real de fotão do incidente durante todo a exposição.

Figura 13. Fotão que conta o sensor da imagem. (a) configuração da microplaqueta. (b) simplificou o esquema de circuito do pixel.

Figura 14. Diagrama de sincronismo para a contagem do fotão e a extrapolação do subframe.
Segundo as indicações de figura 15 (a), um alcance dinâmico de DB 124 foi demonstrado sem nenhuma degradação na relação de relação sinal-ruído (SNR). O SNR após o excesso contrário sob sobras brilhantes das condições de luz em DB 40 sobre o alcance dinâmico prolongado, desde que as operações de contagem verdadeiras do fotão podem contar até 10 240 fotão, ou 9 subframes do × 20 dos bocados. Figura 15 (b) mostra que uma imagem de HDR capturou em 250 fps; devido à operação de HDR do obturador global e dos 20 subframe, nenhum produto manufaturado do movimento foi observado mesmo com um fã de gerencio de 225 RPM. A extrapolação de 20 subframe suprime eficazmente produtos manufaturados do movimento, segundo as indicações de Fig. 15 (c). SPAD exige uma alta tensão diagonal de aproximadamente 20 V e a provocação pixel-paralela dos detectores em uma baixa tensão de fonte. Os pixéis de SPAD com passos pequenos são frequentemente difíceis conseguir devido ao isolamento do dispositivo entre tensões de fonte diferentes. Contudo, a estrutura empilhada do dispositivo separa eficazmente as camadas da lógica de SPAD e de CMOS, acelerando desse modo o desenvolvimento de configurações pequenas do pixel com SPAD e funcionalidade prolongada.

Figura 15. Resultados da medida da contagem do fotão. (a) alcance dinâmico e relação de relação sinal-ruído. (b) capturou a imagem de HDR. (c) capturou a imagem com supressão do produto manufaturado do movimento.
IV. expansão de detectar a capacidade
Além do que o alcance dinâmico previamente introduzido e as capacidades globais do obturador, a tecnologia empilhada do dispositivo aumenta não somente a qualidade da imagem da arquitetura do sensor, mas igualmente aumenta a detecção de capacidades tais como a profundidade espacial, o contraste temporal que detectam, e a imagem latente clara invisível.
Profundidade de A. Espacial
Como descrito na seção III-C, a estrutura empilhada do dispositivo com ligação híbrida do Cu-Cu é uma aproximação prometedora para a tecnologia prática de SPAD em uma vasta gama de aplicações e reduz o passo do pixel de SPAD menos ao µm de 10. Para melhorar a eficiência da detecção do fotão (PDE) e reduzir a interferência ótica com passo pequeno do pixel, uma disposição do pixel do BI SPAD que inclui o isolamento completo da trincheira (FTI) e a ligação do Cu-Cu foi relatada em 2020. Segundo as indicações de figura 16, na estrutura empilhada BI de SPAD, a disposição do pixel de SPAD está completamente aberta à luz de incidente, e todos os transistor do pixel são executados na microplaqueta inferior. O metal enterrou ajudas de FTI para suprimir a interferência com pixéis adjacentes. Os pixéis do passo SPAD de 10-µm caracterizam uma camada do silicone 7-µm-thick para melhorar a sensibilidade das medidas próximo-infravermelhas da espectroscopia (NIR) e para conseguir PDEs alto de mais de 31,4% e de 14,2% em 850 nanômetro e em 940 nanômetro, respectivamente.

Figura 16. Estrutura do dispositivo de SPAD. (A) FI SPAD. (b) BI-empilhou SPAD.
Em 2021, 189 um sensor direto do tempo--voo do × 600 SPAD (ToF) que usa um SPAD BI-empilhado é relatado para sistemas automotivos do lidar. Todos os circuitos da parte frontal do pixel são executados na microplaqueta subjacente sob a disposição de SPAD, segundo as indicações de figura 17. Em um sistema do lidar, quando um pulso refletido do laser é recebido, o SPAD gera um pulso de disparo com uma estadia inoperante de 6 ns e transmite-o a um conversor tempo-à-digital (TDC). As microplaquetas superiores e inferiores usam 90 nanômetro SPAD e 40 processos do nanômetro CMOS com 10 camadas de cobre, respectivamente. Devido à estrutura empilhada, o sensor inclui um circuito de detecção da coincidência, um TDC e um processador de sinal digital (DSP) como os blocos de apartamentos para a detecção da profundidade. O sensor direto de ToF exibe uma precisão de distância de 30 cm sobre uma escala prolongada de até 200 m, permitindo a de detectar objetos com refletividade de 95% na luz solar no lux 117k.

Figura 17. O BI empilhou SPAD com o sensor direto da profundidade de ToF.
O BI empilhou a estrutura de SPAD é uma descoberta na imagem latente SPAD-baseada e na profundidade que detectam com propriedades melhoradas. A estrutura da pilha do BI melhora a eficiência de quantum e separa o SPADs e os circuitos nas camadas ótimas do silicone comparadas aos pixéis convencionais que colocam os circuitos ao lado de cada SPAD. Consequentemente, a aplicação empilhada supera as limitações tradicionais de sensores de SPAD e é apropriada para uma escala de aplicações mais larga.
Detecção de B. Tempo Contraste
os sensores Evento-baseados da visão (EVS) detectam o contraste temporal do único-pixel acima dos pontos iniciais relativos pré-ajustados para seguir a evolução temporal de mudanças claras relativas e para definir pontos de amostra para medidas frameless do pixel-nível da intensidade absoluta. Desde que EVS foi relatado primeiramente em 2006, muitas aplicações que usam EVS foram propostas, como a visão por computador de alta velocidade e da baixa potência devido à precisão temporal de dados gravados, à supressão inerente da redundância temporal que conduz ao reduzido cargo-processar custos e uma vasta gama de em-encenações. Operação do Dr. Embora o tamanho do pixel seja reduzido ao passo de 9 µm em 2019 através das estruturas do BI, EVS sofre do grande tamanho do pixel e da definição frequentemente pequena devido ao tratamento dos sinais análogo do pixel-nível extensivo. Consequentemente, de EVSs benefício particularmente dos avanços em estruturas empilhadas do dispositivo com conexões do Cu-Cu da pixel-escala.
o passo 1280 do pixel do × 720 4.86-µm BI-empilhou EVS foi relatado em 2020. Figura 18 mostra o diagrama de bloco do pixel da função da detecção do contraste (CD) e um diagrama esquemático dos blocos assíncronos da lógica da relação e do estado do readout do em-pixel. O photocurrent é convertido a um sinal da tensão, Vlog, e a mudança do contraste é obtida pela modulação de delta assíncrona (ADM) detectou usando um comparador do nível-cruzamento. O EVS BI-empilhado em figura 19 (a) consegue timestamps do fileira-nível 1-µs, uma taxa máxima do evento de 1,066 bilhão por segundo dos eventos (eps), e um encanamento do formato de dados de 35 nW/pixel e de 137 pJ/event para de alta velocidade, aplicações da visão por computador da baixa potência. Figura 19 (b) mostra a operação do sensor para algumas aplicações do exemplo. Gravações da cena do tráfego ao redor 1 lux para demonstrar a sensibilidade do contraste da luminosidade reduzida. A precisão temporal alta dos pixéis da baixo-latência e as operações de alta velocidade do readout permitem que o sensor descodifique testes padrões claros estruturados tempo-codificados na profundidade 3D que detecta aplicações. Figura 20 mostra que a tendência do pixel lança dentro EVS. Devido à tecnologia empilhada do dispositivo, o tamanho do pixel de EVS está agora abaixo do passo de 5 µm para casos práticos do uso dos megapixels.

Figura 18. Diagrama de bloco do pixel de EVS

Figura 19. EVS BI-empilhado e seu exemplo de aplicação. (a) micrografia da microplaqueta. (b) exemplos de aplicação.

Imagem latente da luz de C. Invisível
A tecnologia empilhada do dispositivo igualmente facilita a imagem latente clara invisível usando fotodetector do não-silicone na integração híbrida. Os exemplos de fotodetector do não-silicone com integração híbrida incluem fotodetector de InGaAs, fotodetector do GE-em-si, e filmes fotocondutores orgânicos. Nesta seção, os resultados recentes dos sensores de InGaAs que usam a ligação híbrida do Cu-Cu são resumidos.
A procura para a imagem latente na escala infravermelha da curto-onda (SWIR) (isto é comprimentos de onda entre 1000 e 2000 nanômetros) tem aumentado para aplicações industriais, científicas, médicas e da segurança. Os dispositivos de InGaAs foram usados em sensores de SWIR porque suas propriedades da absorção na escala de SWIR não podem ser cobertas por dispositivos silicone-baseados. Em sensores convencionais de InGaAs, cada pixel da disposição do fotodiodo (PDA) é conectado a um circuito integrado do readout (ROIC) através de um híbrido da aleta-microplaqueta usando colisões. Esta estrutura complica tipicamente a fabricação das disposições do pixel do fino-passo devido à escalabilidade limitada das colisões. Em 2019, um sensor da imagem de InGaAs foi introduzido em que cada o pixel de 5-µm de PDA foi conectado ao ROIC usando a ligação do Cu-Cu. As heterostrutura de InGaAs/InP foram crescidas epitaxially em carcaças disponíveis no comércio pequenas do InP com diâmetros menos de 4. segundo as indicações de figura 21, bolachas epitaxial de InGaAs/InP são cortados em microplaquetas e transferidos às grandes bolachas de silicone usando um processo do dado-à-silicone de III-V. Após a fabricação das almofadas do Cu, o heterowafer de III-V/Si usa a ligação do Cu-Cu para conectar cada pixel de III-V ao ROIC com a mistura de ROIC. Figura 22 mostra a tendência do passo do contato para colisões da aleta-microplaqueta e a ligação do Cu-Cu para sensores de InGaAs. o híbrido da Aleta-microplaqueta usando as colisões, o método tradicional de fabricar sensores de InGaAs, não é apropriado para reduzir proporcionalmente o passo do pixel devido às margens estreitas do processo e à repetibilidade pobre. Contudo, a hibridação do Cu-Cu foi usada para a produção em massa de sensores da imagem do CMOS com rendimentos altos desde 2016 e é uma tecnologia chave para escalar interconecta aos sensores de InGaAs. Figura 22 igualmente mostra um exemplo de uma aplicação que envolve a monitoração da inspeção e de segurança em uma encenação nevoenta. Assim, os sensores da imagem de InGaAs permitem a imagem latente de HD SWIR através das conexões do Cu-Cu do pixel-nível.

Figura 21. Diagrama de fluxo do processo para a fabricação do sensor da imagem de InGaAs.

Figura 22. tendências do passo do contato da colisão da Aleta-microplaqueta e exemplos de aplicação para a ligação do Cu-Cu e os sensores de InGaAs.
Sensores de V. Smart Visão
A procura para produtos da câmera com capacidades de processamento do AI está crescendo no Internet do mercado das coisas (IoT), de cidades varejos, espertas, e de aplicações similares. A potência de processamento do AI em tais dispositivos da borda pode endereçar algumas das edições associadas com os sistemas de computação puros da nuvem, tais como a latência, as comunicações da nuvem, as despesas de fabrico, e os interesses da privacidade. As procuras do mercado para câmeras espertas com capacidades de processamento do AI incluem o tamanho pequeno, o baixo custo, o consumo da baixa potência, e a facilidade da instalação. Contudo, saída convencional dos sensores da imagem do CMOS somente os dados brutos da imagem capturada. Consequentemente, ao desenvolver uma câmera esperta com capacidades de processamento do AI, é necessário usar os CI que incluem o processador de sinal da imagem (ISP), a rede neural circunvolucional (CNN) que processam, a GOLE, e as outras capacidades.
Um sensor empilhado da imagem do CMOS que consiste nos megapixels 12,3 e em um DSP dedicado à computação do CNN foi relatado em 2021. Segundo as indicações de figura 23, o sensor contém uma solução integrada com transferência completa da captação da imagem ao processador da inferência do CNN e pode ser processado em 120 fps, incluindo a captação da imagem usando uns 4,97 TOPS/W DSP e o processamento do CNN da em-microplaqueta. O bloco de processamento tem um ISP para o preprocessing da entrada do CNN, um subsistema de DSP aperfeiçoado para o CNN que processa, e um 8-MB L2 SRAM para armazenar pesos do CNN e memória do tempo de execução. Figura 24 mostra alguns exemplos de resultados da inferência do CNN usando MobileNet v1. O subsistema de DSP demonstrou resultados similares da inferência a TensorFlow. Os sensores espertos da visão podem correr o processo completo da inferência do CNN no sensor, e podem saída as imagens capturadas como resultados dos dados brutos e da inferência do CNN no mesmo quadro através da relação de MIPI. O sensor igualmente apoia a saída de resultados da inferência do CNN somente da relação de SPI para permitir câmeras pequenas e para reduzir o consumo e o custo de potência do sistema. O processador da inferência do CNN no sensor permite que os usuários programem seus modelos do AI do favorito na memória encaixada e reprogram os de acordo com as exigências ou as condições de onde o sistema é usado. Por exemplo, quando instalado na entrada de uma facilidade, pode ser usado para contar o número de visitantes que incorporam a facilidade; quando instalado em uma prateleira de loja, pode ser usado para detectar fora das situações conservadas em estoque; quando instalado no teto, pode ser usado para o calor que traça visitantes da loja. Os sensores espertos da visão são esperados fornecer os sistemas baratos do AI da borda para várias aplicações usando modelos flexíveis do AI.

Este papel revê realizações recentes em arquiteturas do sensor da imagem com estruturas empilhadas do dispositivo. A estrutura empilhada do dispositivo melhora extremamente o desempenho do sensor da imagem, especialmente em taxas de quadros altas e nas definições altas do pixel, através dos CAD altamente paralelos executadas usando pixéis do sensor e a tecnologia de processamento aperfeiçoada circuito do CMOS. No trabalho recente, diversas propostas foram feitas, com alguns resultados, usando circuitos de empilhamento pixel-paralelos e/ou umas unidades de processamento mais espertas. Estes desafios novos exigem uma escalabilidade mais alta, uma mais otimização da tecnologia de processamento para cada função, e uma eficiência mais alta da área. Os fotodetector, os circuitos da parte frontal do pixel, o sinai ambíguo análogo e os processadores digitais, e as memórias podem ser integrados mais eficientemente, segundo as indicações de figura 25, e as arquiteturas futuras do sensor da imagem ganharão um desenvolvimento mais adicional para expandir capacidades através do dispositivo que empilha técnicas.