stn / tap-jquants Goto Github PK

View Code? Open in Web Editor NEW

3.0 3.0 0.0 306 KB

Singer.io tap for J-Quants

License: Apache License 2.0

Python 100.00%

tap-jquants's People

Contributors

Stargazers

Watchers

tap-jquants's Issues

index_option failed with target-postgres

2023-05-18T12:27:33.247642Z [info     ] psycopg2.errors.InvalidDatetimeFormat: invalid input syntax for type timestamp: "2008-05" cmd_type=elb consumer=True name=target-postgres producer=False stdio=stderr string_id=target-postgres
2023-05-18T12:27:33.247725Z [info     ] CONTEXT:  COPY tmp_70b4a369_7fd1_4a88_97ac_482c0d680071, line 1, column contract_month: "2008-05" cmd_type=elb consumer=True name=target-postgres producer=False stdio=stderr string_id=target-postgres
2023-05-18T12:27:33.247808Z [info     ]                                cmd_type=elb consumer=True name=target-postgres producer=False stdio=stderr string_id=target-postgres

Support 前場四本値(/prices/prices_am)

https://jpx.gitbook.io/j-quants-ja/api-reference/prices_am

Endpoint: https://api.jquants.com/v1/prices/prices_am
params: code

ヒストリカルデータではないため、full tableでの取得となる。

Support pagination_key

https://jpx.gitbook.io/j-quants-ja/api-reference

fins-statementsのbookmarkが更新されない

fins-statementsを実行し、取得するデータがあったにも関わらずstateが次のようになっていた。

{"type": "STATE", "value": {"currently_syncing": null}}

Indroduce test codes

Support 信用取引週末残高(/markets/weekly_margin_interest)

https://jpx.gitbook.io/j-quants-ja/api-reference/weekly_margin_interest

Endpoint: https://api.jquants.com/v1/markets/weekly_margin_interest
params: code, from, to, date

リフレッシュトークンのサポート

メールアドレスとパスワードではなくリフレッシュトークンをconfig.jsonで指定できるようにする。

それが無効であったときには、そこで処理を中断する。

Support 財務情報(/fins/statements)

https://jpx.gitbook.io/j-quants-ja/api-reference/statements

Endpoint: https://api.jquants.com/v1/fins/statements
Params: code, date

文字情報が取得されるAPI
開示番号で昇順なので、これがparamsにあればいいのだが。

Meltano Hubへの登録

Follow the https://hub.meltano.com/add-a-tap

データがまだ更新されていなかったときにstateが進んでしまう

再現手順

実行

$ tap-jquants --config config.json --catalog catalog_daily_quotes.json

最初の実行で返ってきたstateを state.json に保存

{"currently_syncing": null, "bookmarks": {"daily_quotes": "2023-05-01T00:00:00.000000Z"}}

再度、実行

tap-jquants --config config.json --catalog catalog_daily_quotes.json --state state.json
...
{"type": "STATE", "value": {"currently_syncing": null, "bookmarks": {"daily_quotes": "2023-05-02T00:00:00.000000Z"}}}

Support 業種別空売り比率(/markets/short_selling)

https://jpx.gitbook.io/j-quants-ja/api-reference/short_selling

Endpoint: https://api.jquants.com/v1/markets/short_selling
params: sector33code, from, to, date

Support 売買内訳データ(/markets/breakdown)

https://jpx.gitbook.io/j-quants-ja/api-reference/breakdown

Endpoint: https://api.jquants.com/v1/markets/breakdown
params: code, from, to, date

fins-announcementでdateは不要にも関わらずconfigには必要

2つ以上のtap-jquantsを同時に実行するとエラーとなる

tap起動時にrefresh tokenとid tokenを再生成するため、2つのtap-jquantsを同時に走らせることができない。

rate limitの問題もあるので、同時に一つしか実行できないというのは許容できる。しかし、未確認だが、後から実行した方が新たなrefresh tokenとid tokenを作成し、先に実行していたほうがエラーとなるのではないだろうか。それは不自然な挙動だろう。

非営業日のデータの取得しない

取得対象の日付が非営業日であったときに、APIにアクセスすることなくスキップする。

過去の営業日はリストで保持可能だが、未来はどうする？
非営業日のデータを持つendpointはないのか？たとえば、財務情報。

missing field disclosed_time in fins-statements

Support 決算発表予定日(/fins/announcement)

https://jpx.gitbook.io/j-quants-ja/api-reference/announcement

Endpoint: https://api.jquants.com/v1/fins/announcement
Params:

翌営業日に決算発表が行われる銘柄に関する情報
full table

Support 投資部門別情報(/markets/trades_spec)

https://jpx.gitbook.io/j-quants-ja/api-reference/trades_spec

Endpoint: https://api.jquants.com/v1/markets/trades_spec
params: section, from, to

fins_statementsが2010-04-30のデータ取得に失敗する

log

2023-04-28T00:07:41.977016Z [info     ] INFO params = {'code': None, 'date': '2010-04-30'}, payload = {} cmd_type=elb consumer=False name=tap-jquants--fins-
statements producer=True stdio=stderr string_id=tap-jquants--fins-statements  2023-04-28T00:07:47.870313Z [info     ] INFO METRIC: {"type": "timer", "metric": "http_request_duration", "value": 1.149768352508545, "tags": {"endpoint": "fins_statements", "http_status_code": 200, "status": "succeeded"}} cmd_type=el
b consumer=False name=tap-jquants--fins-statements producer=True stdio=stderr string_id=tap-jquants--fins-statements                                        2023-04-28T00:07:48.108067Z [info     ] INFO Total synced records for fins_statements: 348 cmd_type=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=stderr string_id=tap-jquants--fins-statements
2023-04-28T00:07:48.261379Z [info     ] INFO METRIC: {"type": "counter", "metric": "record_count", "value": 316, "tags": {"endpoint": "fins_statements"}} cm
d_type=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=stderr string_id=tap-jquants--fins-statements                               2023-04-28T00:07:48.262173Z [info     ] CRITICAL Errors during transform cmd_type=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=s
tderr string_id=tap-jquants--fins-statements                                  2023-04-28T00:07:48.262330Z [info     ] CRITICAL        current_period_start_date: data does not match {'format': 'date-time', 'type': 'string'} cmd_type=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=stderr string_id=tap-jquants--fins-statements
2023-04-28T00:07:48.262448Z [info     ] CRITICAL        current_period_end_dat
e: data does not match {'format': 'date-time', 'type': 'string'} cmd_type=elb
consumer=False name=tap-jquants--fins-statements producer=True stdio=stderr st
ring_id=tap-jquants--fins-statements
2023-04-28T00:07:48.262551Z [info     ] CRITICAL        current_fiscal_year_st
art_date: data does not match {'format': 'date-time', 'type': 'string'} cmd_ty
pe=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=st
derr string_id=tap-jquants--fins-statements
2023-04-28T00:07:48.262652Z [info     ] CRITICAL        current_fiscal_year_en
d_date: data does not match {'format': 'date-time', 'type': 'string'} cmd_type
=elb consumer=False name=tap-jquants--fins-statements producer=True stdio=stde
rr string_id=tap-jquants--fins-statements