VERSATIL TOKENIZER — V1.2 AUTHENTICATED RUNTIME EXPORT
======================================================

Bu dizin artık placeholder değildir. Google Drive'daki gerçek Versatil Tokenizer v0.1
kaynağından üretilmiş doğrulanmış runtime export'unu içerir.

Kaynak JSON:
  ../reference/versatil_tokenizer_v0_1.json

Exact source SHA256:
  97139e973e5067faa7fa9a8a4e2beb277da4d89e7e55a2987bb3f6aacc61462f

Sözleşme:
  vocab_size                  48000
  normalizer                  NFC
  ByteLevel add_prefix_space  false
  ByteLevel use_regex         true
  <|pad|>                     0
  <|bos|>                     1
  <|eos|>                     2
  <|unk|>                     3
  <|system|>                  4
  <|user|>                    5
  <|assistant|>               6
  <|tool|>                    7
  <|end|>                     8

Runtime dosyaları:
  vocab.tsv
  merges.tsv
  unicode_props.tsv
  unicode_nfc_decomp.tsv
  unicode_nfc_ccc.tsv
  unicode_nfc_comp.tsv
  tokenizer.meta.json
  reference_vectors.json
  reference_vectors.manifest.json
  chat_format.accepted.json

Doğrulama:
  - bağımsız Python spec oracle: PASS
  - acceptance cases: 83
  - C++ native tokenizer exact ID parity: PASS
  - decomposed Unicode/NFC örnekleri dahil
  - historical SFT chat serialization gate: PASS

Historical chat format:
  <|bos|> + role_token + NFC(content) + <|end|> ... + <|eos|>

Inference generation prefix:
  <|bos|> + tamamlanmış mesajlar + <|assistant|>

Eksik/uydurma tokenizer dosyası üretme. Bu export ancak exact source SHA ile eşleşirse
promotion tarafından kabul edilir.
