Lua在fslex中的长字符串
2010-12-5 0:24:41
收藏:0
阅读:145
评论:1
我闲暇时间一直在做一个Lua的fslex词法分析器,并参考了ocamllex手册。
在尝试正确对长字符串进行标记化时,遇到了一些问题。“长字符串”由 '[' ('=')* '['
和 ']' ('=')* ']'
标记限定; "="号的数量必须相同。
在第一次实现时,词法分析器似乎无法识别 [[
模式,尽管应该符合最长匹配原则,产生了两个LBRACKET
标记,而 [=[
和其他变体正确识别。此外,正则表达式无法确保使用正确的关闭标记,在第一个 ']' ('=')* ']'
捕获时停止,无论实际的长字符串“级别”如何。此外,fslex似乎不支持正则表达式中的“as”构造。
let lualongstring = '[' ('=')* '[' ( escapeseq | [^ '\\' '[' ] )* ']' ('=')* ']'
(* ... *)
| lualongstring { (* ... *) }
| '[' { LBRACKET }
| ']' { RBRACKET }
(* ... *)
我一直在尝试使用词法分析器中的另一条规则解决这个问题:
rule tokenize = parse
(* ... *)
| '[' ('=')* '[' { longstring (getLongStringLevel(lexeme lexbuf)) lexbuf }
(* ... *)
and longstring level = parse
| ']' ('=')* ']' { (* check level, do something *) }
| _ { (* aggregate other chars *) }
(* or *)
| _ {
let c = lexbuf.LexerChar(0);
(* ... *)
}
但我被卡住了,原因有两个:首先,我不认为我可以“推送”一个标记到下一个规则,一旦我读完了长字符串; 其次,我不喜欢一个字符一个字符地读取,直到找到正确的关闭标记为止的想法,使得当前设计无用。
如何在fslex中对Lua长字符串进行标记化?谢谢阅读。
原文链接 https://stackoverflow.com/questions/4351074
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
- 如何编写 Lua 模式将字符串(嵌套数组)转换为真正的数组?
抱歉如果我回答自己的问题,但是我想贡献我自己的解决方案,以便于未来参考。
我使用
LexBuffer<_>.BufferLocalStore
属性在词法分析器函数调用之间保持状态,它只是一个可写的IDictionary
实例。注:长括号既用于长字符串,也用于多行注释。这是 Lua 语法经常被忽视的部分。
let beginlongbracket = '[' ('=')* '[' let endlongbracket = ']' ('=')* ']' rule tokenize = parse | beginlongbracket { longstring (longBracketLevel(lexeme lexbuf)) lexbuf } (* ... *) and longstring level = parse | endlongbracket { if longBracketLevel(lexeme lexbuf) = level then LUASTRING(endLongString(lexbuf)) else longstring level lexbuf } | _ { toLongString lexbuf (lexeme lexbuf); longstring level lexbuf } | eof { failwith "Unexpected end of file in string." }
这里是我使用的函数,简化了将数据存储到
BufferLocalStore
的过程:let longBracketLevel (str : string) = str.Count(fun c -> c = '=') let createLongStringStorage (lexbuf : LexBuffer<_>) = let sb = new StringBuilder(1000) lexbuf.BufferLocalStore.["longstring"] <- box sb sb let toLongString (lexbuf : LexBuffer<_>) (c : string) = let hasString, sb = lexbuf.BufferLocalStore.TryGetValue("longstring") let storage = if hasString then (sb :?> StringBuilder) else (createLongStringStorage lexbuf) storage.Append(c.[0]) |> ignore let endLongString (lexbuf : LexBuffer<_>) : string = let hasString, sb = lexbuf.BufferLocalStore.TryGetValue("longstring") let ret = if not hasString then "" else (sb :?> StringBuilder).ToString() lexbuf.BufferLocalStore.Remove("longstring") |> ignore ret
也许这不是很函数式,但它似乎能够胜任工作。
tokenize
规则,直到找到长括号的开头longstring
规则并循环,直到找到相同级别的关闭长括号StringBuilder
,然后将其存储到LexBuffer BufferLocalStore
中。BufferLocalStore
。编辑:你可以在 http://ironlua.codeplex.com 找到该项目。词法分析和解析应该没问题。我计划使用 DLR。欢迎评论和建设性批评。