显示与摄像头接口

本页目录

“支持 1080p60”还不足以判断屏幕或摄像头能否连接:RGB888 显示要传每像素三个颜色分量,Bayer RAW10 摄像头通常只传每个感光点一个 10 位样本;同样分辨率和帧率,数据量可以相差很大。接口设计需要把内容格式、协议、物理层、引脚和电源时序分别核对。

场景常见接口首先理解什么
外接显示器HDMI、DisplayPort协商模式、视频格式与链路带宽
内置面板eDP、MIPI DSI、面板 LVDS、RGB面板时序、初始化、背光及供电
小屏寄存器/显存访问SPI、8080/6800 类并口写屏吞吐、帧缓冲与局部刷新
摄像头输入CSI-2、并行像素接口 DVPPHY、RAW/YUV 格式、帧行时序与 ISP

接口并非按年代简单淘汰:并口相机、RGB 和 LVDS 面板在一些嵌入式与工业系统中仍有用途。应以器件支持和系统约束选择,不用“DP 总优于 HDMI”或“并口只能低分辨率”代替预算。

先计算有效像素,再理解消隐与线路编码

有效数据率的起点是 宽×高×帧率×每像素 bit 数⁠。1920×1080、60 Hz、RGB888 的有效区数据为 2.985984 Gbit/s。RGB 每分量 10 bit 则为 30 bit/pixel,增长 25%;YCbCr 4:2:2、4:2:0 通过减少色度采样降低平均数据量,但会影响彩色细节,尤其是桌面文字边缘。

对于按像素扫描的接口,还需给水平/垂直消隐留时间。假定教学时序总计 2200×1125,60 Hz 像素时钟为 148.5 MHz,按 24 bit 计算的扫描槽位预算为 3.564 Gbit/s,高于仅有效区的数值。

有效区 1920 × 1080RGB888:每个有效像素 24 bit行消隐帧消隐教学时序总计 2200× 112560 Hz总像素时钟 = 2200 × 1125 × 60 = 148.5 MHz1920×1080 有效画面之外,还有扫描时序与链路开销图不按尺寸比例;包化接口不必把所有消隐像素当作 RGB 数据逐个发送,要按其传输模式计算。

传统 HDMI TMDS 在 RGB888 的常见情形下,每条数据通道每像素时钟发送一个 10 bit 符号,三条数据通道合计 148.5M×10×3=4.455 Gbit/s。消隐期间不是照样发送黑色 RGB 像素,而是使用相应控制与数据岛结构;这个算式用于说明时钟和线路编码预算。

DP、DSI 视频模式和 CSI-2 都有包化机制,不能把上述 TMDS 算式直接套用。真正要比较的是指定模式所需传输,与链路扣除编码、包头及调度开销后的可用能力。DSC 用于降低显示流量,通常以视觉无损为设计目标,不等于逐 bit 无损,更不代表任何收发两端都支持该压缩模式。VESA:DisplayPort 与 DSC

HDMI:视频数据之外还有能力读取与控制

传统 TMDS 使用三条数据差分通道和独立时钟通道;FRL 使用固定链路速率和嵌入时钟,不同模式可使用三或四条 lane,不能把所有 FRL 都画成固定四 lane。HDMI 2.1 的能力上限曾提升到 48 Gbit/s,HDMI 2.2 已扩展至最高 96 Gbit/s;这些是规范能力,不表示每个标注该版本的端口都实现最大速率或全部功能。HDMI 官方:2.2 概览

机制作用失败时常见表现
HPD接收端连接/状态通知主机不认为显示器可用,或反复重连
DDC / EDID读取接收端声明的显示能力分辨率缺失、识别为通用显示器
链路配置/训练建立所需数据模式高刷新率黑屏、降级或重试
CEC消费电子控制遥控联动异常,但不一定影响图像
内容保护相关握手受保护内容的认证与传输桌面正常,某些内容黑屏

EDID 告诉主机设备声称支持什么,不能证明当前线缆和实际链路有足够裕量;转换器和扩展坞也可能影响可见能力。版本号应配合速率、色深、HDR、VRR、DSC、音频等明确能力看待。

HDMI 不能统一标成“所有差分线都 AC 耦合”。传统 TMDS 的直流偏置/终端与 FRL 或桥接芯片内部接口不同;耦合和端接应按所用发送器、接收器及模式参考设计处理,避免两端随意加电容破坏直流条件。TI:TMDS/FRL 耦合方式

DisplayPort 与 eDP:lane 数和每 lane 速率共同决定预算

DP Main Link 传输视频等数据,AUX 用于能力读取、链路管理等控制,HPD 表示连接及事件。链路训练协调发送端和接收端,不能仅靠“能插进去”保证最高档位。

链路档位,按四 lane原始聚合速率扣线路编码后的参考预算
HBR2:5.4 Gbit/s/lane21.6 Gbit/s17.28 Gbit/s,8b/10b
HBR3:8.1 Gbit/s/lane32.4 Gbit/s25.92 Gbit/s,8b/10b
UHBR10 / 13.5 / 2040 / 54 / 80 Gbit/s需计 128b/132b 及额外开销;UHBR20 最大净载荷约 77.37 Gbit/s

这些预算仍要按实际流格式、lane 配置和实现核对。只标 DP 2.1 不能代替 UHBR10/13.5/20 的具体能力。MST 可在支持的设备间承载多个显示流,但它们共享链路带宽;多屏不是每屏各获一份完整链路。eDP 面向内嵌面板,具有适合面板的控制和省电机制,与外部 DP 的连接器、电源及背光接口不能直接互换。

USB-C DP Alt Mode 常见两 lane 视频加 USB 3.x,或四 lane 视频加独立的 USB 2.0 通路。分辨率/刷新率不能固定对应“两 lane 4K60、四 lane 8K30”,因为 HBR/UHBR 档位、位深和压缩改变预算。USB 与 Type-C

MIPI:DSI/CSI-2 是协议,D-PHY/C-PHY 是物理承载

MIPI Alliance 定义多种接口,不能把“MIPI”当作一种统一电压标准。DSI/DSI-2 面向显示,CSI-2 面向摄像头;二者可以使用相关 PHY,但数据格式、控制和连接方向不同,不能仅因为差分线数量相同直接互接。

物理层典型传输组织不应混淆的概念
常见传统 D-PHY 模式独立差分时钟 lane 加若干数据 lane,高速 DDR 传输数据 lane 并非各自按普通嵌入时钟链路恢复独立时钟
较新 D-PHY 可选模式规范已加入可选嵌入时钟机制不能反过来假设所有旧 SoC 都支持
C-PHY三线一组的 trio,编码携带时钟信息trio 不是普通两线差分 lane

传统 C-PHY 的 16 bit / 7 symbol 编码约为 2.286 bit/symbol/trio,所以 1 Gsymbol/s 对应约 2.286 Gbit/s 的编码承载能力;符号率不能直接写成 Gbit/s。可用模式和更高能力随 PHY 版本变化,文章不以一个固定“最高 4.5G/6G”代替器件规格。MIPI:D-PHY、MIPI:C-PHY 编码说明

DSI 命令模式与视频模式,差在谁负责维持刷新节奏

命令模式通常向面板侧的显示存储写入区域数据,再由面板内部组织扫描;适合按需更新,但不意味着只能显示低刷新率或静态内容。实际还会使用 DCS 命令、窗口设置和 TE 等同步手段,减少写入与扫描冲突。MIPI:DSI

视频模式由主机按所选时序持续提供视频流,可有 burst/non-burst 等组织。面板内部是否存在行缓冲或其他存储取决于实现,不能概括成“视频模式绝对无帧缓冲”。丢失供流或配置错误时,面板未必能自己保留正确显示;主机显示控制器、内存带宽与 DSI 发送要共同满足时序。

连接同一分辨率的另一块 DSI 面板,也可能需要完全不同的上电、复位、初始化命令、lane 数、像素格式和时序。排线针数一致不意味着脚位或电压兼容。

CSI-2:像素位深、打包与控制链路一起核对

CSI-2 通过包头的数据类型、虚拟通道及长度等信息组织图像流。虚拟通道可区分同一物理链路中的不同流,但多摄像头通常需要适当聚合/桥接或传感器输出支持,不能把两个发送器直接并到同一数据线上。虚拟通道也不增加物理带宽。MIPI:CSI-2 多摄像头组织

摄像头的数据通路之外通常还有寄存器控制接口、外部参考时钟、电源、reset/powerdown 等信号。控制接口能读到芯片 ID,只证明控制路径有响应;CSI-2 的时钟、lane 映射、settle、数据类型和接收缓冲仍可能未配置正确。

Bayer RAW10 每感光点一个 10 位样本,不是 RGB 三个 10 位分量;传统紧凑打包中四个样本占五字节。接收器若将其展开到 16 位容器,内存数据量变大,应用还必须知道 stride、字节序、Bayer 排列和有效位位置。Altera:RAW10 打包与接收约束

CSI-2 线上RAW10 紧凑打包接收内存假设展开为 RAW16ISP 输出假设 RGB8882.592 MB / 帧155.52 MB/s4.1472 MB / 帧248.832 MB/s6.2208 MB / 帧373.248 MB/s同一幅 RAW10 图像:线上、内存和显示格式的字节数不同统一按 1920×1080、60 fps、十进制 MB 计算;未计 stride、包头、元数据和额外读写。

1920×1080、60 fps、RAW10 的有效数据率为 1.24416 Gbit/s。假设仅为教学预留 20% 额外预算,两条数据 lane 各需约 0.746496 Gbit/s;这不是规范统一余量,真实值还受包开销、行间隔、嵌入数据和源端高速传输占空比影响。仅依据“1080p60”宣布必须两 lane 或四 lane 都不充分。

这帧 RAW10 紧凑数据为 2.592 MB,展开 RAW16 后 4.1472 MB,ISP 输出 RGB888 为 6.2208 MB。若 RAW16 先由 DMA 写入、再由 ISP 读取,RGB 再写回、再由显示控制器读取,仅这四次内存流量就约 2×248.832+2×373.248=1244.16 MB/s,还未计其他访问。实际流水线可能直接流式连接减少内存往返,因此这是一种具体架构预算,不能作为所有摄像头系统的固定开销。

四个10位样本怎样装进五个字节?

先只改变一个样本最低两位,观察前四字节保持不变、第五字节对应位置改变。跨过4的倍数时,高字节才进位。这里把线上40 bit与内存中的64 bit并列,帮助区分像素精度和容器宽度。

正在呈现知识画面
四个10位样本怎样装进五个字节?

RAW10将每个样本高8位单独存放,四组低2位拼成第五字节;展开为16位后多出的位不增加信息。

RGB 扫描与 8080/6800 并口不是同一接口

RGB 扫描接口通常提供并行颜色位、像素时钟及 DE/HSYNC/VSYNC 等时序,主机持续送像素。8080/6800 类 MCU 接口则用读写选通、命令/数据选择和数据总线访问显示控制器寄存器或显存,显示控制器再负责扫描。把两者放在同一组“8/16 位加读写”接线图中会直接误导硬件选择。

SPI 小屏同样常经控制器显存更新。480×320、RGB565 一帧需 307200 byte;40 Mbit/s 单线 SPI 即使不计命令和空隙,整帧最多约 16.28 fps,而 60 fps 全帧需要 147.456 Mbit/s。局部刷新能显著减少数据量,但应依据实际变化面积与控制器窗口命令计算,不靠“屏幕尺寸小”推断流畅。

面板 LVDS 常采用特定像素串行映射,数据对数量、单双链路和位宽随面板而定;JEIDA/VESA 等映射差异会造成颜色错误。VGA 传模拟 RGB 和同步,其画质取决于模拟带宽、时序与线缆,不能由“模拟”直接推出只能低分辨率。它们都需要对应发送端和面板/显示器规格。

按图像现象查层次

现象先看什么常见下一步
面板背光亮但黑屏面板初始化、视频流、复位顺序区分背光供电与像素链路
颜色整体不对RGB/BGR、Bayer、位宽/打包、映射核对像素格式,不先改链路速率
行错位、斜纹stride、行长、有效区与同步对照帧缓冲和传输字节数
高刷新率闪屏lane 速率、误码与带宽、内存供流区分链路不足和 FIFO underrun
摄像头 ID 正常但无帧stream-on、PHY、lane/时钟与数据类型控制总线和像素链路分开诊断
多摄像头混帧虚拟通道、路由、接收资源查聚合器及驱动的流映射

复算像素、lane 与内存预算

from math import isclose

w, h, fps = 1920, 1080, 60
assert w*h*fps*24 == 2_985_984_000
pixel_clock = 2200*1125*fps
assert pixel_clock == 148_500_000
assert pixel_clock*10*3 == 4_455_000_000
raw10_frame = w*h*10//8
raw16_frame = w*h*2
rgb_frame = w*h*3
assert (raw10_frame, raw16_frame, rgb_frame) == (2592000, 4147200, 6220800)
assert isclose(w*h*fps*10*1.2/2, 746_496_000)
assert 2*(raw16_frame+rgb_frame)*fps == 1_244_160_000
small_frame_bits = 480*320*16
assert small_frame_bits*60 == 147_456_000
assert isclose(40e6/small_frame_bits, 16.276041666666668)
print('显示扫描、RAW10 lane、内存流量与 SPI 刷新预算检查通过')

这些是给定格式和架构下的预算,没有连接真实显示器或摄像头验证吞吐。

继续查阅