Function: truncateMaxTokens()
truncateMaxTokens(
tokenizer
,value
,maxTokens
):string
Parameters
• tokenizer: CL100K_BASE
• value: string
• maxTokens: number
Returns
string
truncateMaxTokens(
tokenizer
,value
,maxTokens
):string
• tokenizer: CL100K_BASE
• value: string
• maxTokens: number
string