Linkis官方版

Linkis简介

Linkis可以帮助用户设置数据处理服务，配置设备通信服务，管理软件中的统计存储服务，统一上下文，管理软件中的素材库，通过搭建Linkis任意一个桥梁与各种服务平台进行数据交互，将你的数据传输到数据库，在各种设备之间读取数据，提供应用管理服务和资源管理服务，你可以在软件中搭建工作平台，查看自己的工作项，配置各种引擎，查看资源使用排名，适合需要搭建数据服务平台的用户。Linkis允许用户配置工作流程，在软件中查看设备工作进度，远程读取设备工作数据！

Linkis软件简介

Linkis是一款计算中间件，开放了Spark、TiSpark、Hive、Python、HBase等众多计算和存储引擎，提供统一的REST/WebSocket/JD接口，提交和执行SQL、Pyspark、HiveQL、Scala等脚本。

Linkis基于微服务架构，提供财务多租户隔离、资源控制、权限隔离等企业级功能，支持统一变量、UDF、函数、用户资源文件管理，具备大数据作业/请求生命周期管理的高并发、高能量、高可用性能力。

Linkis软件功能

统一作业执行服务:一种分布式REST/WebSocket服务，用于处理来自用户的脚本执行请求。

目前可用的计算引擎:Spark、Python、TiSpark、Hive和Shell。

目前可用的语言:SparkSQL、Spark Scala、PySpark、r、Python、HQL和Shell。

资源管理服务:可以从系统和用户的数量和负载角度实时控制/限制资源的使用。借助动态资源统计图表，可以方便地监控和管理系统和用户的资源使用情况。

到目前为止可用的资源类型:纱线队列资源，(中央处理器和内存)，每个用户的并发实例数。

应用管理服务:管理全局用户应用，包括离线批处理应用、交互式查询应用和实时流应用。它还具有很强的可重用性，尤其是对于离线和交互应用，并且具有完整的生命周期管理功能，可以自动为用户释放闲置的应用。

统一存储服务:通用IO架构可以快速与各种存储系统集成，提供统一的可调用入口。它还与大多数常见的数据格式高度集成，易于使用。

统一上下文服务:统一用户和系统的资源文件(JAR、ZIP、genus)。通过对用户、系统和引擎的参数/变量的统一管理，可以实现随机位置的修改会自动反映到所有其他位置。

素材库:系统级和用户级的材料管理，可以共享、传递材料，自动进行生命周期管理。

元数据:数据集表结构和分区的实时显示。

Linkis软件特色

资源管理

1.种类丰富，包括CPU和内存、纱线、磁盘10和流量等。

2.系统(项目)级资源管理

3.用户级资源管理

4.实时显示资源使用情况

多引擎支持

Spark、Python、TiSpark、hive和Shel等。

实时进度/记录

1.支持实时显示任务运行进度。

2.详细准确的实时博客推送

自定义变量

全局自定义变量，在一个地方定义，在任何地方都可用。

语境

1.资源文件(JAR/ZIP/Pperties等)。)都是统一的。

2.用户引擎参数和变量的集中管理

3.提供统一的上下文SDK

应用程序管理

1.为用户智能选择合适的引擎。

2.提供发动机重复使用能力

3.提供引擎切换能力，实现快速执行。

智能优化

1.历史重用能力(如果有相同的历史任务，历史结果将被定期重用)

2.智能重试(系统内部错误触发重试，计算引擎错误智能重试)

错误代码

当执行失败时，提供用户友好的错误代码和描述。

多租户

系统级/用户级多租户隔离

结果集

1.多结果集支持

2.结果集输出元数据(co lumnName，co lumnType，注释)

无功能的

1.高可用性、高可用性和高并发支持

2.分布式、用户不敏感的扩展能力

说明

如何适应Linkis新的计算或存储引擎

1.介绍

后端开发人员除了直接使用Linkis开发的引擎外，还可以根据自己的需求开发自己的应用。它可以分为入口模块、引擎管理器模块和引擎模块，应用程序可以轻松拆分以适应Linkis。这三个模块的用途和架构请参考Linkisarchitect Design DocsUJES架构设计文档。

申报

Linkis使用Spng框架作为基础技术。因此，我们必须遵守Spng的开发规范。

Linkis具有炸弹的基本结构，并为其几乎所有顶级接口提供通用实现。如果用户需要定制类，可以直接注入，替换当前的实现。

2.1入口模块适配

1)Maven依赖

2)要实现的接口

门户中没有强制界面。可以根据需要实现以下接口。

入口传感器.用于将请求映射从前端解析到持久任务。已经提供了抽象入口类，您只需要重写parseToTask方法。Linkis提供了CommonEntranceParser作为默认实现。

引擎请求者.用于构建RequestEngine对象，该对象可用于从EngineMar请求新的引擎。

调度程序。用于计划任务。默认情况下，它为多用户提供并行模式，为单用户模式提供先进先出模式。建议没有特殊目的不要定制。

2.2 EngineMar模块适配

1)Maven依赖

2)要实现的接口

以下接口需要在EngineMar中实现:

EngineCreator .有必要在现有的AbstractEngineCreator中重写方法PcessEngineBuilder来创建EngineBuilder。这里PcessEngineBuilder提供了一个名为JavaPcessEngineBuilder的类，它是一个用于完成类路径、JavaOpts、GC文件路径和日志路径的配置，并在测试模式下打开DEBUG端口的镜像类。要实现JavaPcessEngineBuilder，您只需要指定额外的类路径和JavaOpts。

工程资源工厂.有必要重写现有抽象引擎资源工厂中的方法getRequestResource来声明用户定义的资源需求。

资源。一个用于向RM注册资源的Spng bean。用户需要为依赖注入指定一个ModuleInfo实例。

在EngineMar中，以下接口/bean是可选的:

钩子。一个Spng bean，用于在引擎启动期间添加前后挂钩。用户需要在EngineHook []的钩子类型中声明一个Spng bean，以使新钩子有效。

2.3发动机模块自适应

1)Maven依赖

2)要实现的接口

需要在引擎中实现以下接口:

工程执行器工厂.用于通过实现方法执行器从映射构建引擎执行器。该图包含环境变量和发动机参数。

引擎执行器.实际执行程序执行从门户提交的代码。要实现的方法:1 .getActualUsedResources(引擎实际使用的资源)2。executeLine(执行由CodeParser解析的代码行)3。完全执行(Executeline的补充方法)。如果executeLine返回ExecuteIncomplete，新代码将与之前的代码一起提交给引擎)

以下接口/bean在引擎中是可选的:

引擎挂钩:数组[引擎挂钩]，一个Spng bean，用于在引擎启动时添加前后挂钩。目前系统提供两个钩子:用于UDF/函数加载的CodeGeneratorEngineHook和用于释放备用引擎的ReleaseEngineHook。只有系统默认情况下book引擎挂接= array(release engine hook)。

代码分析器.用于将代码解析成行，并且每个执行循环只提交一行。默认情况下，系统注册代码解析器并一次返回所有代码。

EngineParser .用于将请求任务转换为调度程序可接受的作业。如果没有指定，系统将注册引擎解析器，它将把请求任务转换成一个公共的工程任务。

Linkis WebSocket API文档

1.摘要

Linkis通过WebSocket提供了一种自适应的方法，方便功能应用的前端。

数据开发IDE工具Scptis结合了两种方法来适应Linkis。正常情况下，它通过websocket与Linkis通信，在Websocket连接断开时故障转移到HTTP协议。

2.1原料药规格

Linkis定义了自己的前端和后端规范。

1).l规格

Rest_j表示API符合泽西岛标准。

Rest_s表示API符合spngMVC Rest标准。

V1是该服务的版本，将升级为Linkis版本。

{applicationName}是微服务名称。

2)。需求规格

3)。响应规格

方法:返回请求的Restful API L，主要由websocket协议使用。

状态:返回状态，-1表示登录失败，0表示成功，1表示错误，2表示身份验证失败，3表示没有权限。

数据:返回详细数据。

消息:返回请求的提示。如果状态不是0，此消息将返回一条错误消息。同时，数据可能会在其“堆栈”列中返回堆栈。

2.2WebSocket API描述

1)。连接建立

用于与Linkis建立WebSocket连接。

API / api / rest_j /入口/连接

HTTP方法

状态代码101

2)。请求执行

用于将用户作业提交给Linkis执行。

API / api / rest_j /入口/执行

方法HTTP POST

Json请求正文示例

请求主题数据的参数描述

表1参数描述

Json响应正文示例

ExecID是提交给Linkis后为每个用户任务生成的Stng类型的唯一ID。它仅在执行期间使用，如PID。execID的格式为(requestApplicationName的长度)(executeAppName的长度)(实例的长度)requestApplicationName { executeapname } trapeineinstanceinfomentip+端口{ requestApplicationName } $ { umuser } $ { index }

TaskID是由数据库为每个任务增量生成的Long类型的唯一ID。

3)。任务、记录和进度的推送机制

提交后，会推送状态、日志和进度。它们可以通过websocket协议进行检索。该应用编程接口与下面提到的HTTP协议一致。唯一不同的是websocket的模式是WS://，但是对于HTTP协议是HTTP://。

网络套接字应用编程接口的示例响应

将

情况

进步