artem3213212 / pypascaltokenizer Goto Github PK

Tokenizer for Pascal syntax (Delphi/FreePascal) written in Python 3

не принято одно подчерчивание в нач и конце.
два- да, в стандарт либе.
одно- только в начале.

One token
1.2e-3
1e2
1e+20

    s=(0,'//')
    while is_comment(s[1]):
        return self.main

???

return в цикле??
индекс 1 или 0?

CHAPTER 1. PASCAL TOKENS
+ -
*
/ = < > [ ] . , ( ) : ^ @ { } $ # & %
and the following character pairs too:
<< >>
**
<> >< <= >= := += -=
*= /= (* *) (. .) //

Когда думал что все вспомнил

def is_comment(s):
    return (s[0]=='{' and s[-1]=='}') or (s[:2]=='(*' and s[-2:]=='*)') or s[:2]=='//'

если токен точно валидный- мможно упростить-

return s.startswith('{') or s.startswith('(*') or s.startswith('//')

I0 i1– я так понял это y x , тогда надо так и назвать...

забыл переименовать.
Имхо- красивее set_pos, get_pos, в 1м стиле

  //parse <Address>
  {
  //  <expression>
  //  [Rn]
  //  [Rn, offset] {!}
  //  [Rn,{+/-}Rm{,<shift>}]{!}
  }

This block of comment breaks it.

yeah, this never ends.

не нашёл в стд Библ методов

__is_readable__ __doreadable__ 

так что не надо давать такие имена системные, можно с одним подчерком если ты скрыть хочешь

&77700
%110011
Must be one token

    s = (0,'//')
    while is_comment(s[1]):
        s = self.main.get_next()

судя по ридми, текст лежит не в [1] а в [0].

Need -= += /= *=

FPC supports it
https://github.com/graemeg/lazarus/commit/69d9c10bd2c66102a4f1bc43240e0bc553e2ba7f

Нужно шапку в начале
И файл Licensе

Напиши рус ридми, а я переведу, со списком что парсится