SignalK Data Notebooks

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22SignalK%20Data%20Notebooks%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20json%0A%20%20%20%20from%20datetime%20import%20date%2C%20timedelta%0A%20%20%20%20from%20pyodide.http%20import%20pyfetch%0A%20%20%20%20from%20urllib.parse%20import%20urlencode%0A%20%20%20%20import%20js%0A%0A%20%20%20%20return%20date%2C%20js%2C%20json%2C%20pl%2C%20pyfetch%2C%20timedelta%2C%20urlencode%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(js%2C%20mo)%3A%0A%20%20%20%20signalk_url%20%3D%20str(js.location.origin)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%23%20SignalK%20Data%20Notebooks%0A%20%20%20%20%20%20%20%20**Server**%20%60%7Bsignalk_url%7D%60%0A%0A%20%20%20%20%20%20%20%20Select%20a%20provider%20and%20paths%2C%20set%20a%20date%20range%2C%20then%20press%20**Fetch%20data**.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(signalk_url%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo%2C%20pyfetch%2C%20signalk_url)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_resp%20%3D%20await%20pyfetch(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bsignalk_url%7D%2Fsignalk%2Fv2%2Fapi%2Fhistory%2F_providers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20credentials%3D%22include%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_data%20%3D%20json.loads(await%20_resp.string())%0A%20%20%20%20%20%20%20%20_provider_options%20%3D%20list(_data.keys())%20if%20isinstance(_data%2C%20dict)%20else%20_data%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20_provider_options%20%3D%20%5B%5D%0A%0A%20%20%20%20provider_input%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D_provider_options%2C%0A%20%20%20%20%20%20%20%20value%3D_provider_options%5B0%5D%20if%20_provider_options%20else%20None%2C%0A%20%20%20%20%20%20%20%20label%3D%22Provider%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(provider_input%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo%2C%20provider_input%2C%20pyfetch%2C%20signalk_url%2C%20urlencode)%3A%0A%20%20%20%20_available_paths%20%3D%20%5B%5D%0A%20%20%20%20if%20provider_input.value%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_qs%20%3D%20urlencode(%7B%22provider%22%3A%20provider_input.value%2C%20%22duration%22%3A%20%22P1D%22%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_resp%20%3D%20await%20pyfetch(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bsignalk_url%7D%2Fsignalk%2Fv2%2Fapi%2Fhistory%2Fpaths%3F%7B_qs%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20credentials%3D%22include%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_data%20%3D%20json.loads(await%20_resp.string())%0A%20%20%20%20%20%20%20%20%20%20%20%20_available_paths%20%3D%20sorted(_data)%20if%20isinstance(_data%2C%20list)%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20_defaults%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22navigation.speedOverGround%22%2C%0A%20%20%20%20%20%20%20%20%22navigation.courseOverGroundTrue%22%2C%0A%20%20%20%20%20%20%20%20%22navigation.position%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20if%20_available_paths%3A%0A%20%20%20%20%20%20%20%20paths_input%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D_available_paths%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%5Bp%20for%20p%20in%20_defaults%20if%20p%20in%20_available_paths%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Paths%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20paths_input%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22%5Cn%22.join(_defaults)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Paths%20(one%20per%20line%20%E2%80%94%20no%20data%20found%20for%20last%2024%20h)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(paths_input%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(date%2C%20mo%2C%20timedelta)%3A%0A%20%20%20%20_today%20%3D%20date.today()%0A%20%20%20%20_yesterday%20%3D%20_today%20-%20timedelta(days%3D1)%0A%20%20%20%20from_date%20%3D%20mo.ui.date(value%3D_yesterday%2C%20label%3D%22From%22)%0A%20%20%20%20to_date%20%3D%20mo.ui.date(value%3D_today%2C%20label%3D%22To%22)%0A%20%20%20%20fetch_btn%20%3D%20mo.ui.run_button(label%3D%22Fetch%20data%22)%0A%20%20%20%20return%20fetch_btn%2C%20from_date%2C%20to_date%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(fetch_btn%2C%20from_date%2C%20mo%2C%20paths_input%2C%20provider_input%2C%20to_date)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bprovider_input%2C%20from_date%2C%20to_date%5D%2C%20gap%3D%221.5rem%22%2C%20align%3D%22end%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20paths_input%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fetch_btn%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D%220.75rem%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20fetch_btn%2C%0A%20%20%20%20from_date%2C%0A%20%20%20%20json%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20paths_input%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20provider_input%2C%0A%20%20%20%20pyfetch%2C%0A%20%20%20%20signalk_url%2C%0A%20%20%20%20to_date%2C%0A%20%20%20%20urlencode%2C%0A)%3A%0A%20%20%20%20_empty%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22timestamp%22%3A%20pl.Series(%5B%5D%2C%20dtype%3Dpl.Datetime)%2C%0A%20%20%20%20%20%20%20%20%22value%22%3A%20pl.Series(%5B%5D%2C%20dtype%3Dpl.Float64)%2C%0A%20%20%20%20%20%20%20%20%22method%22%3A%20pl.Series(%5B%5D%2C%20dtype%3Dpl.Utf8)%2C%0A%20%20%20%20%20%20%20%20%22context%22%3A%20pl.Series(%5B%5D%2C%20dtype%3Dpl.Utf8)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20signalk_data%20%3D%20_empty%0A%20%20%20%20tables%20%3D%20%7B%7D%0A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20fetch_btn.value%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Press%20**Fetch%20data**%20above%20to%20load.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_paths%20%3D%20(%0A%20%20%20%20%20%20%20%20paths_input.value%0A%20%20%20%20%20%20%20%20if%20isinstance(paths_input.value%2C%20list)%0A%20%20%20%20%20%20%20%20else%20%5Bp.strip()%20for%20p%20in%20paths_input.value.splitlines()%20if%20p.strip()%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22paths%22%3A%20%22%2C%22.join(_paths)%2C%0A%20%20%20%20%20%20%20%20%22from%22%3A%20f%22%7Bfrom_date.value.isoformat()%7DT00%3A00%3A00Z%22%2C%0A%20%20%20%20%20%20%20%20%22to%22%3A%20f%22%7Bto_date.value.isoformat()%7DT23%3A59%3A59Z%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20if%20provider_input.value%3A%0A%20%20%20%20%20%20%20%20_params%5B%22provider%22%5D%20%3D%20provider_input.value%0A%0A%20%20%20%20_raw%20%3D%20%7B%7D%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_url%20%3D%20f%22%7Bsignalk_url%7D%2Fsignalk%2Fv2%2Fapi%2Fhistory%2Fvalues%3F%7Burlencode(_params)%7D%22%0A%20%20%20%20%20%20%20%20_resp%20%3D%20await%20pyfetch(_url%2C%20credentials%3D%22include%22)%0A%20%20%20%20%20%20%20%20_raw%20%3D%20json.loads(await%20_resp.string())%0A%20%20%20%20except%20Exception%20as%20_e%3A%0A%20%20%20%20%20%20%20%20mo.stop(True%2C%20mo.callout(mo.md(f%22**Fetch%20failed**%3A%20%7B_e%7D%22)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20_context%20%3D%20_raw.get(%22context%22%2C%20%22%22)%0A%20%20%20%20_path_meta%20%3D%20_raw.get(%22values%22%2C%20%5B%5D)%0A%20%20%20%20_data_rows%20%3D%20_raw.get(%22data%22%2C%20%5B%5D)%0A%20%20%20%20_long_rows%3A%20list%5Bdict%5D%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_i%2C%20_meta%20in%20enumerate(_path_meta)%3A%0A%20%20%20%20%20%20%20%20_path%20%3D%20_meta.get(%22path%22%2C%20f%22path_%7B_i%7D%22)%0A%20%20%20%20%20%20%20%20_tname%20%3D%20_path.replace(%22.%22%2C%20%22_%22)%0A%20%20%20%20%20%20%20%20_method%20%3D%20_meta.get(%22method%22%2C%20%22%22)%0A%0A%20%20%20%20%20%20%20%20def%20_to_float(v)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(v%2C%20(int%2C%20float))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20float(v)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(v%2C%20dict)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20inner%20%3D%20v.get(%22value%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20float(inner)%20if%20isinstance(inner%2C%20(int%2C%20float))%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20%20%20%20%20_path_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22timestamp%22%3A%20_row%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20_to_float(_row%5B_i%20%2B%201%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22method%22%3A%20_method%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22context%22%3A%20_context%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_row%20in%20_data_rows%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_row)%20%3E%20_i%20%2B%201%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_long_rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22timestamp%22%3A%20r%5B%22timestamp%22%5D%2C%20%22path%22%3A%20_path%2C%20%22value%22%3A%20r%5B%22value%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22method%22%3A%20r%5B%22method%22%5D%2C%20%22context%22%3A%20r%5B%22context%22%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20_path_rows%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20tables%5B_tname%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.DataFrame(_path_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22timestamp%22).str.to_datetime(strict%3DFalse%2C%20time_unit%3D%22us%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22value%22).cast(pl.Float64%2C%20strict%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_path_rows%20else%20_empty%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20_long_rows%3A%0A%20%20%20%20%20%20%20%20signalk_data%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.DataFrame(_long_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22timestamp%22).str.to_datetime(strict%3DFalse%2C%20time_unit%3D%22us%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22value%22).cast(pl.Float64%2C%20strict%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Loaded%20**%7Blen(tables)%7D**%20path(s)%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(f%22%60%7Bt%7D%60%22%20for%20t%20in%20tables)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22%20%20%C2%B7%20%20**%7Blen(_long_rows)%3A%2C%7D**%20total%20rows%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20signalk_data%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%20Analysis%0A%0A%20%20%20%20Add%20cells%20below.%20Each%20named%20path%20is%20also%20available%20as%20its%20own%20DataFrame%0A%20%20%20%20in%20the%20%60tables%60%20dict%20%E2%80%94%20e.g.%20%60tables%5B%22navigation_speedOverGround%22%5D%60.%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20%23%20Example%3A%20speed%20in%20knots%0A%20%20%20%20sog%20%3D%20tables%5B%22navigation_speedOverGround%22%5D%0A%20%20%20%20sog.with_columns((pl.col(%22value%22)%20*%201.94384).alias(%22knots%22))%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A