Linkis是一款专业的微服务架构设计软件。数据搭建必备微服务架构设计工具Linkis。它可以通过建立任何Linkis桥来帮助用户构建数据处理服务，配置设备通信服务，管理软件中的统计存储服务，统一上下...
基本信息
评分 9
Linkis是一款专业的微服务架构设计软件。数据搭建必备微服务架构设计工具Linkis。它可以通过建立任何Linkis桥来帮助用户构建数据处理服务，配置设备通信服务，管理软件中的统计存储服务，统一上下文，管理软件中的物料库以及与多个服务平台执行数据交互。您的数据已传输到数据库，您可以在多个设备之间读取数据，提供应用程序管理服务，资源管理服务，可以在软件中构建工作平台，可以查看自己的工作项，可以配置多个引擎，以及您可以查看资源使用排名适合需要构建数据服务平台的用户；Linkis允许用户配置工作流程，在软件中查看设备工作进度以及远程读取设备工作数据。如果您需要构建微服务平台，请下载此软件！
Linkis是一种计算中间件，它集成了多个计算存储引擎，例如Spark，TiSpark，Hive，Python和HBase，提供了统一的REST/WebSocket/JDBC接口，并提交并执行SQL，Pyspark，HiveQL，Scala和其他脚本。
Linkis基于微服务架构，提供了企业级功能，例如财务级多租户隔离，资源管理和控制以及权限隔离。它支持统一变量，UDF，功能，用户资源文件管理，并具有高并发，高性能和高可用性的大数据操作。/要求完整的生命周期管理功能。
统一作业执行服务：一种分布式REST/WebSocket服务，用于处理来自用户的脚本执行请求。
到目前为止可用的计算引擎：Spark，Python，TiSpark，Hive和Shell。
到目前为止可用的语言：SparkSQL，SparkScala，PySpark，R，Python，HQL和Shell。
资源管理服务：从系统和用户的数量和负载的角度实时控制/限制资源使用。借助动态资源统计信息，您可以轻松地监视和管理系统和用户资源使用情况。
到目前为止可用的资源类型：纱线队列资源，服务器（CPU和内存），每个用户的并发实例数。
应用程序管理服务：管理全局用户应用程序，包括脱机批处理应用程序，交互式查询应用程序和实时流应用程序。它还具有强大的可重用性，特别是对于脱机和交互式应用程序，具有完整的生命周期管理功能，可以自动为用户释放空闲的应用程序。
统一存储服务：通用IO体系结构可以与各种存储系统快速集成，并提供统一的可调用条目。它还与大多数常用数据格式高度集成，并且易于使用。
统一上下文服务：统一用户和系统资源文件（JAR，ZIP，属性）。通过统一管理用户，系统和引擎的参数/变量，可以实现对随机位置的修改将自动反映在所有其他位置。
物料库：系统和用户级物料管理，能够共享，传输物料和自动生命周期管理。
元数据服务：实时显示数据集表的结构和分区。
如使Linkis适应新的计算或存储引擎
1引言
后端开发人员除了直接使用Linkis开发的引擎外，还可以根据需要开发自己的应用程序。分为入口模块，引擎管理器模块和引擎模块，您可以轻松拆分应用程序以适应Linkis。有关这三个模块的目的和体系结构，请参阅LinkisArchetectDesignDocsUJES体系结构设计文档。
2.声明
Linkis使用Spring框架作为基本技术。因此，我们必须遵守Spring的开发规范。
Linkis具有灵活的基础架构，并为几乎所有顶级接口提供了通用的实现。如果用户需要定制的类，则可以直接注入它们并替换当前的实现。
2.1进入模块适配
1）Maven依赖
2）要实现的接口
入口处没有强制性界面。可以根据需要实现以下接口。
EntranceParser。用于解析从前端到持久性Task的请求映射。提供了AbstractEntranceParser类，并且仅需要重写parseToTask方法。Linkis提供CommonEntranceParser作为默认实现。
EngineRequester。用于构造RequestEngine对象，该对象可用于从EngineManager请求新引擎。
调度程序。用于计划任务。默认实现为多用户情况提供并行模式，为单用户模式提供FIFO模式。建议不要在没有特殊目的的情况下进行自定义。
2.2EngineManager模块适配
1）Maven依赖
2）要实现的接口
需要在EngineManager中实现以下接口：
EngineCreator。需要在现有的AbstractEngineCreator中重写方法createProcessEngineBuilder来创建EngineBuilder。在这里，ProcessEngineBuilder提供了一个名为JavaProcessEngineBuilder的类，这是一个抽象类，用于完成类路径，JavaOpts，GC文件路径和日志路径的配置，并在测试模式下打开DEBUG端口。要实现JavaProcessEngineBuilder，您只需指定其他类路径和JavaOpts。
EngineResourceFactory。需要在现有的AbstractEngineResourceFactory中重写方法getRequestResource，以声明用户定义的资源需求。
资源。一个用于将资源注册到RM的Springbean。用户需要指定一个ModuleInfo实例进行依赖项注入。
以下接口/bean在EngineManager中是可选的：
钩。一个用于在引擎启动期间添加前后钩的Springbean。用户需要在EngineHook[]钩子类型中声明一个Springbean，以使新钩子生效。
2.3发动机模块适配
1）Maven依赖
2）要实现的接口
需要在Engine中实现以下接口：
EngineExecutorFactory。用于通过实现createExecutor方法从地图构造EngineExecutor。该映射包含环境变量和引擎参。
EngineExecutor。实际的执行程序执行从条目提交的代码。需要实现的方法：1.getActualUsedResources（引擎实际使用的资源）2.executeLine（执行CodeParser解析的代码行）3.executeCompletely（executeLine的补充方法。如果executeLine返回ExecuteIncomplete，则新代码为连同之前的代码一起提交给引擎）
以下接口/bean在引擎中是可选的：
EngineHooks：数组[EngineHook]，一个Springbean，用于在引擎启动期间添加前后钩。当前，系统提供2个钩子：用于UDF/函数加载的CodeGeneratorEngineHook和用于释放备用引擎的ReleaseEngineHook。默认情况下，系统仅注册engineHooks=Array（ReleaseEngineHook）。
CodeParser。用于将代码解析为几行，并且每个执行循环仅提交一行。默认情况下，系统注册CodeParser一次返回所有代码。
EngineParser。用于将RequestTask转换为Scheduler可接受的Job。如果未指定，则系统将注册EngineParser，该引擎将RequestTask转换为CommonEngineJob。
LinkisWebSocketAPI文档
1.总结
Linkis通过WebSocket提供了一种适应方法，以简化功能应用程序的前端。
数据开发IDE工具Scriptis结合了两种方法以适应Linkis。在正常情况下，它通过websocket与Linkis通信，并在断开Websocket连接时故障转移到HTTP协议。
2.1API规范
Linkis定义了自己的前端和后端规范。
1个
）。URL规范
Rest_j表示API符合Jersey标准
Rest_s表示API符合springMVCRest标准
V1是服务的版本，它将与Linkis版本一起升级
{applicationName}是微服务的名称
2）。要求规格
3）。响应规格
方法：返回所请求的RestfulAPIURL，该URL主要由websocket协议使用。
状态：返回状态信息，-1表示登录失败，0表示成功，1表示错误，2表示验证失败，3表示没有权限。
数据：回详细数据。
消息：返回请求的提示消息。如果状态不为0，则此消息返回错误消息。同时，“数据”可能会在其“堆栈”列中返回堆栈信息。
2.2WebSocketAPI说明
1）。建立联系
用于与Linkis建立WebSocket连接。
API/API/rest_j/入口/连接
HTTP方法GET
状态码101
2）。请求执行
用于将用户作业提交给Linkis以执行。
API/api/rest_j/入口/执行
HTTP方法POST
样本Json请求主体
请求主题数据的参数说明
表1参数说明
样本Json响应主体
execID是提交给Linkis后为每个用户任务生成的String类型的唯一ID。它仅在执行期间使用，例如PID。execID的格式为（requestApplicationName的长度）（executeAppName的长度）（实例的长度）requestApplicationName{executeApplicationName}entryInstanceinfomationip+端口{requestApplicationName}${umUser}${index}
TaskID是Long类型的唯一ID，由数据库为每个任务增量生成。
3）。任务状态，日志和进度的推送机制
提交后，状态，日志和进度信息将由服务器推送。能够通过websocket协议检索它们。该API与下面提到的HTTP协议一致。唯一的区别是websocket的模式是ws：//，但是对于HTTP协议，它是http：//。
WebSocketAPI的示例响应
日志
州
进展
资源管理
1.丰富的类型，包括服务器CPU和内存，纱线，磁盘10和流量等。
2.系统（项目）级资源管理
3.用户级资源管理
4.实时显示资源使用情况
多引擎支持
Spark，Python，TiSpark，hive，Shel等
实时进度/日志
1.支持任务进度的实时显示
2.详细，准确的实时日志推送
自订变数
一处定义的全局自定义变量，随处可见
语境
1，资源文件（JAR/ZIP/Properties等）统一
2.集中管理用户引擎参数和变量
3，提供统一的上下文SDK
应用管理
1.为用户智能选择合适的引擎
2.提供引擎重用能力
3.提供引擎切换功能以实现快速执行
智能优化
1.历史重用能力（存在相同的历史任务，历史结果将被定期重用）
2.智能重试（由内部系统错误触发的重试，针对计算引擎错误的智能重试）
错误代码
执行失败时提供用户友好的错误代码和描述
多租户
系统级/用户级多租户隔离
结果集
1.多结果集支持
2.结果集输出元数据（columnName，columnType，注释）信息
无功能
1.高可用性，高可靠性，高并发支持
2.分布式，你
无服务器可扩展性
