Sail

Sail

未知

GitHub
Created Bylakehqlakehq

PyPI 发布 Slack 社区

Sail 是一个统一流处理、批处理和计算密集型工作负载的框架，提供 Spark SQL 和 DataFrame API 的直接替代方案。

安装

pip install "pysail[spark]"

使用步骤

1. 启动 Sail 服务器

命令行方式:

sail spark server --port 50051

Python API 方式:

from pysail.spark import SparkConnectServer

server = SparkConnectServer(port=50051)
server.start(background=False)

Kubernetes 方式:

kubectl apply -f sail.yaml
kubectl -n sail port-forward service/sail-spark-server 50051:50051

2. 连接到 Sail 服务器

from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()
spark.sql("SELECT 1 + 1").show()

文档与支持