Rust 的 String/str 维护有效 UTF-8;操作系统路径则不一定能表示成 UTF-8。先判断数据表达的是文本、原始字节还是系统路径,才能选择不会丢信息的类型与操作。
拥有与借用是第一条轴
拥有内容 借用视图 保证
String str / &str 有效 UTF-8 文本
Vec [u8] / &[u8] 任意字节,不承诺文本编码
OsString OsStr / &OsStr 平台字符串,保留其可表达内容
PathBuf Path / &Path 平台路径组件语义
&str 可以借用 String 的一部分,不仅指向字符串字面量,也不自动具有 'static 生命周期。String 的安全 API 维护 UTF-8 不变量;使用 unsafe 构造或修改时,调用者必须继续维护它,不能说编译器会自动验证所有内存操作。String
字节、char 和可见字符不同
UTF-8 字节:6 个 65 | CC 81 | E4 B8 AD Unicode 标量值:3 个 U+0065、U+0301、U+4E2D 扩展字素簇:通常 2 个 e + 组合重音构成一个簇;中构成另一个簇 同一段文本有不同计数单位:e + 组合重音 + 中 Rust char 表示 Unicode 标量值;用户感知字符与终端显示宽度还需要其他规则。
fn main ( ) {
let text = " e\u{301} 中" ;
assert_eq! ( text.len ( ) , 6 ) ;
assert_eq! ( text.chars ( ) .count ( ) , 3 ) ;
assert_eq! ( text.char_indices ( ) .collect:: < Vec< _ > > ( ) ,
[ ( 0 , ' e' ) , ( 1 , ' \u{301} ' ) , ( 3 , ' 中' ) ] ) ;
assert_eq! ( text.get ( 1 .. 3 ) , Some ( " \u{301} " ) ) ;
assert_eq! ( text.get ( 2 .. 3 ) , None ) ; }
len 统计字节,chars 遍历 Unicode 标量值。Unicode 中的“码点”还包含 surrogate 等不能作为 Rust char 的值,准确讨论时应使用标量值这个概念。
用户看到的一个字符可能由多个标量值组成,emoji 序列也不必只有一个 4 字节标量。编辑器移动光标、截断用户昵称等任务,通常还需要字素簇分段规则;显示列宽又是另一问题。Unicode 文本分段
索引必须先选定单位
Rust 不提供 text[n] 返回“第 n 个字符”的接口,因为这个词可能指字节、标量值或字素簇,而成本与语义不同。
读取第 n 个字节:text.as_bytes().get(n)。
读取第 n 个标量值:text.chars().nth(n),通常需扫描前面的编码。
按字节范围借用文本:text.get(a..b),要求范围及 UTF-8 边界都有效。
需要字素簇:采用实现相应 Unicode 分段规则的库,并明确其 Unicode 版本。
直接 &text[a..b] 在范围或边界非法时会 panic;get 用 Option 表达失败。循环中反复 chars().nth(i) 可能重复扫描形成二次复杂度,通常应一次 chars/char_indices 迭代完成工作。
有效 UTF-8 也不意味着已经 Unicode 规范化:预组合的 é 和 e 加组合重音通常不按普通字符串相等比较视为相等。搜索或身份匹配需要什么规范化策略,应由业务明确决定。
限制字节预算时向前寻找合法边界
fn prefix_bytes ( text : & str , budget : usize ) -> & str {
let mut end = budget.min ( text.len ( ) ) ;
while ! text.is_char_boundary ( end) {
end - = 1 ;
}
& text[ .. end]
}
fn main ( ) {
assert_eq! ( prefix_bytes ( " 中ab" , 2 ) , " " ) ;
assert_eq! ( prefix_bytes ( " 中ab" , 4 ) , " 中a" ) ;
assert_eq! ( prefix_bytes ( " 中ab" , 100 ) , " 中ab" ) ;
assert_eq! ( prefix_bytes ( " e\u{301} " , 1 ) , " e" ) ;
}
这满足“不超过指定 UTF-8 字节数且结果仍是合法文本”的契约,最后一个断言也暴露了它的边界:可以把组合重音从字母后截走。用于网络字段的字节上限可能合适,用于用户可见昵称则还要按字素簇规则决定截断点。返回的是原文本借用,没有新建 String;源字符串也因此不能在借用仍使用时任意修改。
文本相等不自动做规范化
fn main ( ) {
let composed = " \u{e9} " ;
let decomposed = " e\u{301} " ;
assert_ne! ( composed, decomposed) ;
assert_eq! ( composed.len ( ) , 2 ) ;
assert_eq! ( decomposed.len ( ) , 3 ) ;
assert_eq! ( " a\n b\n " .lines ( ) .collect:: < Vec< _ > > ( ) , [ " a" , " b" ] ) ;
assert_eq! ( " a\n b\n " .split ( ' \n ' ) .collect:: < Vec< _ > > ( ) , [ " a" , " b" , " " ] ) ;
}
选择 lines 还是 split 也要看协议:前者按行语义处理,后者按分隔字符保留末尾空段。需要保留空字段或精确原始换行时,不能为了简洁随意替换。规范化、大小写处理与去空白同样属于数据解释策略,应在输入边界明确,并保留需要用于展示或审计的原始表示。
字节边界与可见字符边界不是一回事
按字节预算截断有两个问题:先不能破坏 UTF-8 编码,然后还要判断是否允许拆开用户看到的一个字符。预算为 2 或 3 时落在“中”的编码内部;预算为 5 时 UTF-8 完全合法,却把 e 后的重音截走。两类边界需要不同的处理策略。
正在呈现知识画面 重新加载
字节边界与可见字符边界不是一回事 有效 UTF-8 截断不会切开一个标量的编码,却仍可能拆开 e 与组合重音。
{"id":"rust-utf8-boundaries","title":"字节边界与可见字符边界不是一回事","summary":"有效 UTF-8 截断不会切开一个标量的编码,却仍可能拆开 e 与组合重音。","height":1000,"html":"<h2 data-i18n=\"heading\"></h2><p class=\"intro\" data-i18n=\"intro\"></p><div class=\"control\"><label for=\"budget\" data-i18n=\"budget\"></label><output for=\"budget\" id=\"budget-value\"></output><input id=\"budget\" type=\"range\" min=\"0\" max=\"7\" value=\"5\" step=\"1\"></div><div class=\"track-row\"><span data-i18n=\"bytes\"></span><div id=\"bytes\" class=\"track\"></div></div><section class=\"panel\"><h3 data-i18n=\"scalar\"></h3><div id=\"scalar\"></div></section><section class=\"panel\"><h3 data-i18n=\"grapheme\"></h3><div id=\"grapheme\"></div></section><div class=\"metrics\"><div><span data-i18n=\"direct\"></span><strong id=\"direct\"></strong></div><div><span data-i18n=\"safe\"></span><strong id=\"safe\"></strong></div></div><div class=\"copy\"><p id=\"explanation\" role=\"status\"></p><p class=\"reserve\" aria-hidden=\"true\" data-i18n=\"ok\"></p><p class=\"reserve\" aria-hidden=\"true\" data-i18n=\"split\"></p><p class=\"reserve\" aria-hidden=\"true\" data-i18n=\"invalid\"></p></div><details class=\"scope\"><summary data-i18n=\"scopeLabel\"></summary><p data-i18n=\"scope\"></p></details>","css":".intro{margin:8px 0 18px;color:var(--muted);font-size:14px}.caption,.hint{font-size:12px;color:var(--muted);margin-top:12px}.control{display:grid;grid-template-columns:minmax(0,1fr) auto;gap:6px 12px;align-items:center;margin:14px 0;font-size:13px}.control label{font-size:13px}.control output{color:var(--accent);min-width:5em;text-align:right;font-variant-numeric:tabular-nums}.control input{grid-column:1/-1;width:100%;margin:0}.presets{display:flex;gap:4px;align-items:stretch}.presets button{flex:1 1 0;min-width:0;overflow-wrap:anywhere;font-size:13px}.actions{display:flex;gap:8px;flex-wrap:wrap;margin:14px 0}.actions button{flex:1;min-width:0;font-size:13px;min-height:42px}.copy{display:grid;font-size:14px;margin:16px 0}.copy>*{grid-area:1/1;margin:0}.reserve{visibility:hidden}.scope{margin-top:14px;color:var(--muted);font-size:12px}.scope summary{padding:8px 0;cursor:pointer}.scope p{margin-top:10px}.two{display:grid;grid-template-columns:repeat(2,minmax(0,1fr));gap:12px;margin:16px 0}.card{border:1px solid var(--rule);border-radius:9px;padding:14px;min-width:0}.card header{font-size:14px;font-weight:600;margin-bottom:10px}.card button{font-size:12px;width:100%;min-width:0}.card small{display:block;font-size:12px;color:var(--muted)}.card code{font-size:12px;overflow-wrap:anywhere}.metrics{display:grid;grid-template-columns:repeat(2,minmax(0,1fr));gap:12px;margin:16px 0}.metrics>div{border-left:2px solid var(--accent);padding-left:10px;min-width:0}.metrics span{display:block;min-height:3.2em;color:var(--muted);font-size:12px}.metrics strong{font-size:23px;display:block;font-weight:550;overflow-wrap:anywhere;font-variant-numeric:tabular-nums}.formula{border-top:1px solid var(--rule);padding-top:12px;margin-top:14px;font-size:13px;font-variant-numeric:tabular-nums;overflow-wrap:anywhere}.value{font:550 20px ui-monospace,monospace}.legend{display:flex;flex-wrap:wrap;gap:6px 14px;font-size:12px;color:var(--muted);margin:12px 0}.legend span:before{content:'';display:inline-block;width:8px;height:8px;border-radius:2px;background:var(--accent);margin-right:6px}.legend .second:before{background:var(--second)}.check{display:flex;align-items:center;gap:8px;font-size:13px;margin:12px 0}.check input{width:16px;height:16px;flex-shrink:0;accent-color:var(--accent)}select,input[type=text],input[type=number]{background:var(--paper);color:var(--ink);font:inherit;font-size:13px;padding:10px;border:1px solid var(--rule);border-radius:7px;max-width:100%;min-width:0}select{width:100%;min-height:42px}.band{height:20px;display:flex;background:var(--surface);border-radius:4px;overflow:hidden}.band i{height:100%;display:block;background:var(--accent);transition:width .25s}.band i.second{background:var(--second)}button:disabled{cursor:default}.status{font-size:13px;min-height:4.8em}.mono{font-family:ui-monospace,monospace;font-variant-numeric:tabular-nums}.muted{color:var(--muted)}\n@media(max-width:480px){.two{gap:8px}.card{padding:12px 9px}.actions button,.presets button{font-size:12px}.metrics strong{font-size:20px}.metrics{gap:8px}}\n@media(prefers-reduced-motion:reduce){*,*::before,*::after{transition:none!important;animation:none!important}}\n.track-row{margin:16px 0}.track-row>span{display:block;font-size:12px;color:var(--muted);margin-bottom:7px}.track{display:flex;gap:5px;min-width:0}.cell{flex:1;min-width:0;min-height:48px;border:1px solid var(--rule);border-radius:5px;background:var(--surface);display:flex;align-items:center;justify-content:center;text-align:center;padding:5px 3px;font-size:12px;overflow-wrap:anywhere;font-variant-numeric:tabular-nums}.cell.on{background:var(--accent-soft);border-color:var(--accent)}.cell.gold{background:var(--second-soft);border-color:var(--second)}.cell.empty{border-style:dashed;color:var(--muted)}.cell.error{border-color:var(--second);text-decoration:line-through}.choices{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:6px;margin:14px 0}.choices button{min-width:0;padding:10px 4px;font-size:12px;overflow-wrap:anywhere}.choices button[aria-current=true]{border-color:var(--accent);background:var(--accent-soft)}.relation{display:grid;grid-template-columns:minmax(0,1fr) 28px minmax(0,1fr);align-items:center;gap:6px;margin:12px 0}.relation .cell{min-height:72px}.relation>i{text-align:center;font-style:normal;color:var(--accent)}.readout{font-size:13px;white-space:pre-line;min-height:6.4em;overflow-wrap:anywhere}.plot{position:relative;border-left:1px solid var(--rule);border-bottom:1px solid var(--rule);padding:8px 0;margin:18px 0}.plot-row{height:28px;position:relative;margin:4px 0;background:var(--surface)}.plot-row i{position:absolute;inset-block:5px;background:var(--accent);min-width:2px;transition:width .2s,left .2s}.plot-row b{position:relative;padding:4px 6px;font:11px/28px ui-monospace,monospace;background:var(--paper);border-radius:3px}.axis{display:flex;justify-content:space-between;font-size:11px;color:var(--muted)}\n\n/* Action labels must remain readable across locales and narrow embeds. */\n.actions{display:grid;grid-template-columns:repeat(2,minmax(0,1fr));gap:8px}\n.actions button{overflow-wrap:anywhere;white-space:normal;min-height:58px;padding:8px}\nbutton{overflow-wrap:anywhere}\n@media(min-width:640px){.actions{grid-template-columns:repeat(3,minmax(0,1fr))}}\n\n.metrics span{overflow-wrap:anywhere}\n.panel{border:1px solid var(--rule);border-radius:9px;padding:12px;margin:14px 0;min-width:0}.panel h3{font-size:13px;margin:0 0 10px;color:var(--muted)}.source{font:13px/1.8 ui-monospace,monospace;white-space:pre-wrap;overflow-wrap:anywhere;margin:12px 0}.source mark{background:var(--accent-soft);color:var(--ink);border-bottom:2px solid var(--accent)}.source .fault{background:var(--second-soft);border-color:var(--second)}.diagram{display:block;width:100%;height:auto;max-height:320px;margin:14px 0;overflow:visible}.diagram text{fill:var(--ink);font:12px ui-monospace,monospace}.diagram .edge{stroke:var(--muted);stroke-width:1.5;fill:none}.diagram .edge.on{stroke:var(--accent);stroke-width:3}.diagram .node{fill:var(--surface);stroke:var(--rule);stroke-width:1.5}.diagram .node.on{fill:var(--accent-soft);stroke:var(--accent)}.diagram .node.gold{fill:var(--second-soft);stroke:var(--second)}.log{font:12px/1.8 ui-monospace,monospace;white-space:pre-line;overflow-wrap:anywhere;min-height:7.2em}.table{display:grid;gap:5px;margin:14px 0}.table .tr{display:grid;grid-template-columns:repeat(3,minmax(0,1fr));gap:5px}.table .tr>*{padding:8px 5px;background:var(--surface);border-radius:4px;min-width:0;overflow-wrap:anywhere;font-size:12px}.table .tr .on{background:var(--accent-soft)}.table .tr .gold{background:var(--second-soft)}.choices button{min-height:44px}.metrics strong{min-height:1.6em}.code-line{display:block}.code-line.on{background:var(--accent-soft);border-left:2px solid var(--accent);padding-left:6px}.status-badge{font-size:12px;color:var(--accent)}.tile-grid{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:6px}.tile-grid .cell{min-height:40px}.actions button{min-height:48px}.form-field{display:grid;gap:8px;margin:14px 0;font-size:13px}.form-field input{width:100%;font-family:ui-monospace,monospace}.metrics.three{grid-template-columns:repeat(3,minmax(0,1fr))}.formula{min-height:3.2em}.presets{flex-wrap:wrap}.presets button{flex-basis:25%;min-height:44px}\n\n.budget{display:flex;height:28px;margin:16px 0;background:var(--surface);border-radius:5px;overflow:hidden}.budget i{display:block;background:var(--accent);transition:width .2s}.budget i.gold{background:var(--second)}.intervals{margin:16px 0}.interval{position:relative;height:36px;background:var(--surface);margin:6px 0;border-radius:4px;overflow:hidden}.interval i{position:absolute;height:100%;background:var(--accent-soft);border-left:2px solid var(--accent)}.interval i.gold{background:var(--second-soft);border-color:var(--second)}.interval span{position:relative;z-index:1;font:12px/36px ui-monospace,monospace;padding-left:7px}.table .tr>*{min-height:4.8em}.formula{white-space:pre-line;min-height:7.2em}.actions:has(>button:only-child){grid-template-columns:1fr}.metrics strong{min-height:3.2em}.rangegrid{display:grid;grid-template-columns:repeat(12,minmax(0,1fr));gap:3px;margin:14px 0}.rangegrid .cell{min-height:30px;padding:3px 1px;font-size:10px}.message{min-height:7.2em;white-space:pre-line;font:13px/1.8 ui-monospace,monospace;overflow-wrap:anywhere}\n/* Allow CJK hanging punctuation without overflowing a metric's border box. */\n.metrics>div{padding-right:4px}.metrics span{line-break:anywhere}\n\n.chart-wrap{margin:18px 0}.chart-label{font-size:12px;color:var(--muted);min-height:3.2em}.curve{display:block;width:100%;height:auto;max-height:320px;overflow:visible}.curve text{font:11px ui-monospace,monospace;fill:var(--muted)}.gridline{stroke:var(--rule);stroke-width:1}.metrics strong{font-size:20px;min-height:3.2em}.formula{font:12px/1.8 ui-monospace,monospace;min-height:9em}.readout{min-height:8em}.presets button{flex-basis:30%}.scope p{overflow-wrap:anywhere} .unit-note{font-size:12px;color:var(--muted);margin:10px 0}\n\n.metrics span{word-break:break-all;line-break:strict}.metrics>div{padding-right:6px}\n\n.cell{min-height:72px}.metrics strong{min-height:3.6em}\n\n.track{flex-wrap:wrap}.cell{flex-basis:20%}.metrics strong{font-size:16px;min-height:4em}.panel>div{font:13px ui-monospace,monospace;min-height:2.4em}","js":"const $=s=>document.querySelector(s);const set=(id,v)=>$('#'+id).textContent=v;const t=k=>viz.t(k);function cells(id,values){$('#'+id).replaceChildren(...values.map(v=>{const e=document.createElement('div');e.className='cell '+(v.cls||'');e.textContent=v.text;e.title=v.title||v.text;return e;}));}function pressed(mode){document.querySelectorAll('[data-mode]').forEach(e=>e.setAttribute('aria-pressed',String(e.dataset.mode===mode)));}const esc=s=>String(s).replace(/[&<>\"']/g,c=>({'&':'&','<':'<','>':'>','\"':'"',\"'\":'''}[c]));const fmt=s=>'{'+[...s].sort().join(', ')+'}';function graph(id,nodes,edges){const el=$('#'+id);el.setAttribute('viewBox','0 0 360 200');el.innerHTML='<defs><marker id=\"arrow-'+id+'\" viewBox=\"0 0 10 10\" refX=\"8\" refY=\"5\" markerWidth=\"5\" markerHeight=\"5\" orient=\"auto-start-reverse\"><path d=\"M 0 0 L 10 5 L 0 10 z\" fill=\"var(--muted)\"/></marker></defs>'+edges.map(e=>{const a=nodes[e[0]],b=nodes[e[1]],dx=b.x-a.x,dy=b.y-a.y,d=Math.hypot(dx,dy)||1;if(edges.some(r=>r[0]===e[1]&&r[1]===e[0])){const nx=-dy/d,ny=dx/d;return '<path class=\"edge '+(e[2]?'on':'')+'\" d=\"M '+(a.x+dx/d*22+nx*12)+' '+(a.y+dy/d*22+ny*12)+' Q '+((a.x+b.x)/2+nx*38)+' '+((a.y+b.y)/2+ny*38)+' '+(b.x-dx/d*25+nx*12)+' '+(b.y-dy/d*25+ny*12)+'\" marker-end=\"url(#arrow-'+id+')\"/>';}return '<line class=\"edge '+(e[2]?'on':'')+'\" x1=\"'+(a.x+dx/d*25)+'\" y1=\"'+(a.y+dy/d*25)+'\" x2=\"'+(b.x-dx/d*28)+'\" y2=\"'+(b.y-dy/d*28)+'\" marker-end=\"url(#arrow-'+id+')\"/>';}).join('')+nodes.map(n=>'<g><circle class=\"node '+(n.cls||'')+'\" cx=\"'+n.x+'\" cy=\"'+n.y+'\" r=\"25\"/><text x=\"'+n.x+'\" y=\"'+(n.y+4)+'\" text-anchor=\"middle\">'+esc(n.name)+'</text>'+(n.sub?'<text x=\"'+n.x+'\" y=\"'+(n.y+43)+'\" text-anchor=\"middle\">'+esc(n.sub)+'</text>':'')+'</g>').join('');}function table(id,rows){$('#'+id).classList.add('table');$('#'+id).replaceChildren(...rows.map(r=>{const row=document.createElement('div');row.className='tr';row.style.gridTemplateColumns='repeat('+r.length+',minmax(0,1fr))';r.forEach(x=>{const c=document.createElement('div');if(typeof x==='object'){c.textContent=x.text;c.className=x.cls||'';}else c.textContent=x;row.append(c)});return row;}));}function band(id,parts,total){$('#'+id).replaceChildren(...parts.map((p,i)=>{const e=document.createElement('i');e.style.width=(100*p.value/total)+'%';e.className=i%2?'gold':'on';e.title=p.name+': '+p.value;return e}));}function intervals(id,items,total){$('#'+id).replaceChildren(...items.map(p=>{const row=document.createElement('div');row.className='interval';const bar=document.createElement('i');bar.style.left=(100*p.start/total)+'%';bar.style.width=(100*(p.end-p.start)/total)+'%';bar.className=p.cls||'';const label=document.createElement('span');label.textContent=p.label;row.append(bar,label);return row;}));}function plot(id,series,xr,yr,opts={}){const e=$('#'+id),X=x=>42+(x-xr[0])/(xr[1]-xr[0])*298,Y=y=>175-(y-yr[0])/(yr[1]-yr[0])*148;let out='<defs><clipPath id=\"clip-'+id+'\"><rect x=\"42\" y=\"27\" width=\"298\" height=\"148\"/></clipPath></defs>';for(let i=0;i<3;i++){let x=xr[0]+i*(xr[1]-xr[0])/2,y=yr[0]+i*(yr[1]-yr[0])/2;out+='<path class=\"gridline\" d=\"M '+X(x)+' 27V175M42 '+Y(y)+'H340\"/><text x=\"'+X(x)+'\" y=\"194\" text-anchor=\"middle\">'+esc(opts.xfmt?opts.xfmt(x):Number(x.toFixed(2)))+'</text><text x=\"36\" y=\"'+(Y(y)+4)+'\" text-anchor=\"end\">'+esc(opts.yfmt?opts.yfmt(y):Number(y.toFixed(2)))+'</text>';}out+='<g clip-path=\"url(#clip-'+id+')\">';for(const s of series){out+='<path fill=\"none\" stroke=\"'+(s.color||'var(--accent)')+'\" stroke-width=\"2.5\" '+(s.dash?'stroke-dasharray=\"5 4\"':'')+' d=\"'+s.pts.map((p,i)=>(i?'L':'M')+X(p[0]).toFixed(2)+','+Y(p[1]).toFixed(2)).join(' ')+'\"/>';}for(const p of opts.points||[])out+='<circle cx=\"'+X(p[0])+'\" cy=\"'+Y(p[1])+'\" r=\"4\" fill=\"var(--second)\" stroke=\"var(--paper)\" stroke-width=\"1.5\"/>';if(opts.cursor!==undefined)out+='<path d=\"M'+X(opts.cursor)+' 27V175\" stroke=\"var(--muted)\" stroke-dasharray=\"3 3\"/>';e.innerHTML=out+'</g>';e.dataset.curves=JSON.stringify(series.map(s=>s.pts));}const curve=(fn,lo,hi,n=120)=>Array.from({length:n+1},(_,i)=>{const x=lo+(hi-lo)*i/n;return[x,fn(x)]});function inputs(draw){document.querySelectorAll('input,select').forEach(e=>{e.addEventListener('input',draw);e.addEventListener('change',draw)});draw()}const n=id=>+$('#'+id).value;const show=(id,v,d=3)=>set(id,Number(v.toFixed(d)));function draw(){let k=n('budget'),bs=[0x41,0xe4,0xb8,0xad,0x65,0xcc,0x81],bounds=[0,1,4,5,7],end=Math.max(...bounds.filter(x=>x<=k)),decoder=new TextDecoder(),s=decoder.decode(new Uint8Array(bs.slice(0,end))),valid=bounds.includes(k);set('budget-value',k+' B');cells('bytes',bs.map((b,i)=>({text:i+'\\n'+b.toString(16).toUpperCase(),cls:i<end?'on':i<k?'gold':'empty'})));set('scalar','0 │ A │ 1 │ 中 │ 4 │ e │ 5 │ ◌́ │ 7');set('grapheme','0 │ A │ 1 │ 中 │ 4 │ é │ 7');set('direct',valid?'Some(\"'+s+'\")':'None');set('safe','\"'+s+'\" ('+end+' B)');set('explanation',t(!valid?'invalid':end===5?'split':'ok'));document.body.dataset.end=end;}inputs(draw);","audio":false,"strings":{"budget":"字节预算","bytes":"UTF-8 字节与偏移","direct":"text.get(..budget)","grapheme":"字素边界","heading":"字节边界与可见字符边界不是一回事","intro":"拖动字节预算,对比直接 get(..budget) 与向前取合法 UTF-8 边界。","invalid":"预算落在多字节编码内部,get 返回 None;向前调整后才取得合法文本。","ok":"这个位置同时是 UTF-8 与本例字素边界。","reset":"重置","safe":"向前截断后的文本","scalar":"标量边界","scope":"固定文本 A中e◌́,实际重音用 U+0301;字素边界按此例标注,不实现通用 Unicode 分段库。","scopeLabel":"模型范围与约定","split":"结果仍是合法 UTF-8,但 e 后面的组合重音被截走;显示字符被拆开了。"}}
从字节得到文本,明确是否允许损失
String::from_utf8 检查拥有的字节向量,失败时可取回错误中的原始字节;str::from_utf8 对借用切片检查。from_utf8_lossy 用替换字符展示非法序列,适合某些日志,但不适合需要无损回传的协议或文件名。
String 也不保证末尾有 C 的 NUL 字节。与 C 字符串互操作用 CString/CStr,并考虑内部 NUL 与外部缓冲生命周期,参见 C ABI 与 bindgen 。
第一块:41 E4 B8 完整 A + “中”的前两字节 第二块:AD 42 补齐“中” + 完整 B 组合字节:41 E4 B8 AD 42 文本结果 A中B UTF-8 编码边界不一定与读取分块边界一致 error_len = None 可表示尾部未完成;流结束后仍未完成就应按截断错误处理。
区分暂缺后续字节与确定的非法编码
fn main ( ) {
let mut bytes = vec! [ b ' A' , 0xe4 , 0xb8 ] ;
let error = std:: str:: from_utf8( & bytes) .unwrap_err ( ) ;
assert_eq! ( error.valid_up_to ( ) , 1 ) ;
assert_eq! ( error.error_len ( ) , None ) ;
bytes.extend ( [ 0xad , b ' B' ] ) ;
assert_eq! ( std:: str:: from_utf8( & bytes) , Ok ( " A中B" ) ) ;
let bad = vec! [ b ' A' , 0xff , b ' B' ] ;
let error = String :: from_utf8( bad) .unwrap_err ( ) ;
assert_eq! ( error.utf8_error ( ) .valid_up_to ( ) , 1 ) ;
assert_eq! ( error.utf8_error ( ) .error_len ( ) , Some ( 1 ) ) ;
assert_eq! ( error.into_bytes ( ) , [ b ' A' , 0xff , b ' B' ] ) ;
}
读到第一块时,尾部 E4 B8 可能只是“中”跨块,不能立即丢弃或替换。如果协议规定 UTF-8 流,可输出已确认的前缀、保留未完成尾部,并在下一块继续检查;若消息或流已结束,则必须报告截断或执行明确的替换策略。直接对每一读取块分别 from_utf8_lossy,会把原本合法的跨块字符变成替换字符。Utf8Error
本例把全部字节保存在 Vec 中以展示边界。实际流式实现还要限制累计缓冲大小,并避免每次追加都从头重新验证已确认的长前缀。
OsStr 不是承诺某种可持久化内部编码
Unix 文件名组件可含非 UTF-8 字节,但不能包含 NUL,斜杠是路径分隔符。Windows 的系统宽字符接口使用 16 位编码单元,可能出现不能当作有效 Unicode 标量序列的内容;不能把 Windows 文件系统原生格式直接说成 WTF-8。
Rust 的 Windows 内部表示与 WTF-8 有实现关联,但跨平台 OsStr 抽象不让应用依赖某个内部编码作为持久化协议。Unix 可用 OsStrExt::as_bytes 等平台接口无损访问,Windows 可用 encode_wide 得到宽字符单元。OsStr 、Windows OsStrExt
# [ cfg ( unix ) ]
fn main ( ) {
use std:: ffi:: OsString;
use std:: os:: unix:: ffi:: OsStringExt;
use std:: path:: PathBuf;
let path = PathBuf:: from( OsString:: from_vec( vec! [ b ' f' , 0xff ] ) ) ;
assert! ( path.to_str ( ) .is_none ( ) ) ;
assert_eq! ( path.into_os_string ( ) .into_vec ( ) , [ b ' f' , 0xff ] ) ;
}
# [ cfg ( not ( unix ) ) ]
fn main ( ) { }
Path::display 与 to_string_lossy 适合人类阅读,不应把显示结果再当成原始路径身份。文件操作尽量一直传 &Path/PathBuf,避免 UTF-8 转换往返。
Path 操作不自动访问或隔离文件系统
join、parent、extension、components 等主要按平台路径语法处理。join 的右侧如果是绝对路径,会替换前面的基路径;Windows 的前缀与根路径还存在平台特有规则。Path
use std:: path:: Path;
fn main ( ) {
let path = Path:: new( " reports" ) .join ( " 2026" ) .join ( " summary.txt" ) ;
assert_eq! ( path.file_name ( ) .unwrap ( ) , " summary.txt" ) ;
assert_eq! ( path.extension ( ) .unwrap ( ) , " txt" ) ;
}
components 不会任意折叠 a/../b,因为符号链接可能改变含义。canonicalize 会访问文件系统并解析相应路径,但结果也不证明之后访问时目录和链接没有改变。
因此 PathBuf::join 是正确表达路径拼接的工具,却不是“保证用户输入始终落在某个目录里”的安全边界。若任务需要限定访问根目录,还要按目标系统使用适当的目录句柄与解析约束,不能只做一次字符串前缀检查。
路径前缀按组件比较,仍不代表文件系统包含关系
use std:: path:: { Component, Path} ;
fn normal_relative ( path : & Path) -> bool {
! path.as_os_str ( ) .is_empty ( )
& & path.components ( ) .all ( | c | matches! ( c, Component:: Normal( _ ) ) )
}
fn main ( ) {
assert! ( normal_relative ( Path:: new( " reports/summary.txt" ) ) ) ;
assert! ( ! normal_relative ( Path:: new( " ../outside" ) ) ) ;
assert! ( ! normal_relative ( Path:: new( " " ) ) ) ;
assert! ( ! Path:: new( " reports-old/a" ) .starts_with ( " reports" ) ) ;
assert! ( Path:: new( " reports/../outside" ) .starts_with ( " reports" ) ) ;
assert! ( ! normal_relative ( Path:: new( " reports/../outside" ) ) ) ;
}
函数只表达一个词法输入策略:非空,并且解析后的组件都为 Normal。components 会做有限的语法规范化,重复分隔符等原始拼写信息不一定保留;不同平台还会用各自的分隔符与前缀规则。它不检查路径是否存在,也无法防止 reports 内的符号链接指向外部。
Path::starts_with 比字符串前缀更符合组件语义,因此 reports-old 不算 reports 的子路径;但带 .. 的路径仍可能通过这个组件前缀判断。即使拒绝 ..,符号链接和并发目录变化仍需在实际打开阶段处理,不能把上面的 normal_relative 当成完整的文件访问隔离方案。Path 组件与前缀
把展示、存储与操作接口分开
用途 合适的表示 转换时保留什么
文本协议字段 &str / String 编码错误、长度单位与规范化策略
未知编码输入 &[u8] / Vec 原始字节,确认格式后再解码
当前平台文件操作 &Path / PathBuf 原始 OsStr 内容与平台组件语义
日志中的文件名 display 或明确转义表示 展示可能有损,不再用于定位原文件
跨平台保存路径标识 明确设计的格式 平台、根/前缀规则及不可表示内容的处理
文件 API 接收路径时,优先让调用者传 AsRef 或 &Path,内部直接进行路径操作;如果强制接收 String,就在入口排除了部分合法系统路径。相反,网络协议里的资源名即便长得像路径,也应先按协议规定解释,不能直接套用当前操作系统的 Path 规则。